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本 书 饮 守 


“对 打算 开始 虚拟 之 旅 的 朋友 来 说 ， 这 是 一 本 有 价值 的 补充 读物 。 
一 一 拉 布 . 斯 科 特 博士 
Nuclear AMRC 虚 拟 现实 部 门 负 责 人 
“本 书 完美 诠释 了 先进 的 可 视 化 技术 ， 可 帮助 读者 广泛 了 解 这 个 快 节奏 、 高 科技 的 行业 。” 
一 一 克 里 斯 * 弗 里 受 
谢 菲尔德 大 学 AMRC 增 强 现实 技术 研究 员 


“无 论 是 经 验 丰 富 的 专家 ， 还 是 初次 接触 的 读者 ， 都 会 从 本 书 中 获取 到 | 优秀 而 富有 想象 力 的 信息 。 本 书 之 所 以 值得 阅读 ， 
因为 其 中 不 仪 包括 丰富 的 数据 和 研究 ， 而 且 包 括 对 市 场 和 机 会 的 深刻 见解 。 如 果 你 对 这 项 令 人 兴奋 的 新 技术 感 兴趣 ， 那 么 本 书 
你 的 必 备 资源 ， 它 将 带 你 探索 这 个 美丽 新 世界 。” 


和 冯 ”并 


一 一 罗 伊 . 泰勒 
AMD 公 司 内 容 和 技术 副 总 裁 


“ 史 蒂 夫 站 在 虚拟 和 增强 现实 世界 的 变化 莫 测 的 边缘 。 和 凭借 丰富 的 行业 经 验 ， 他 对 这 些 将 改变 我 们 工作 和 娱乐 的 技术 、 产 品 
与 想法 有 着 清晰 的 理解 。 他 所 分 享 的 知识 或 许 能 帮助 你 创造 一 个 奇妙 的 未 来 !“ 


一 一 布 伦 特 :贝尔 
Peregtine 游 戏 手 套 的 创始 人 


“混合 或 增强 现实 是 重要 的 前 沿 技术 ， 它 们 不 仅 是 下 一 代 计 算 平 台 ， 还 是 人 们 体验 世界 并 进行 交互 的 全 新 方式 。 本 书 并 不 局 
限于 技术 本 身 的 框架 。 阅 读 吧 ， 来 了 解 我 们 的 新 世界 。” 


一 一 杰 伦 : 拉 尼 尔 
《Who Owns the Future》 和 《You Are Not A Gadget》 的 作者 


AR 是 下 一 代 个 人 计算 和 交互 平台 。 本 书 把 AR 从 抽象 变 为 具体 、 从 理论 变 为 实 操 ， 把 AR 带 到 我 们 每 一 位 相关 从 业 人 员 身 边 ， 
充分 诠释 了 AR 以 人 为 本 、 有 人 文 关 怀 、 有 温度 的 科技 这 一 深刻 内 涵 。 


一 一 庚 春 元 博士 
亮 风 台 创始 人 人、 董事 长 兼 CEO 


技术 日 新 月 异 ， 未 来 已 经 来 临 。AR 技 术 实现 了 虚拟 世界 和 现实 世界 的 有 趣 互动 ， 为 我 们 创造 了 一 个 亦 真 亦 幻 的 新 天 地 。 本 
书 就 是 开启 这 片 新 天 地 的 “武林 秘籍 ”。 书 中 深入 浅 出 地 解释 了 增强 现实 和 虚拟 现实 系统 ， 揭 示 了 视觉 、 听 觉 和 触觉 机 制 ， 接 着 
如 数 家 珍 地 为 我 们 展示 了 可 穿戴 显示 器 、3D 音 频 系 统 、 触 觉 / 力 反馈 设备 等 ， 并 探讨 了 该 技术 在 娱乐 、 建 筑 、 医 学 、 教 育 等 领域 
的 应 用 。 本 书 的 出 版 对 于 推动 增强 现实 技术 的 研究 和 实践 具有 开拓 性 意义 。 


一 一 杨 先 顺 


又 南大 学 新 闻 与 传播 学 院 党 委 书 记 、 副 院 长 、 教 授 、 博 时 


言 息 技术 的 快速 发 展 正在 改变 人 们 的 生活 方式 。 作 为 当前 最 热门 的 前 沿 技 术 之 一 ，AR 将 会 前 所 未 有 地 改变 人 们 的 工作 环境 
和 人 生活 习惯 。 本 书 全 面 介 绍 了 人 机 交互 的 发 展 方向 和 AR 的 主要 理论 及 技术 ， 可 以 帮助 我 们 进一步 了 解 AR 技术 。 





许 胡 


华南 理工 大 学 计算 机 学 院 副 院 长 、 博 导 


未 来 就 在 眼前 ， 世 界 触手 可 及 


计算 机 技术 发 展 至 今 ， 每 隔 数 十 年 人 机 交互 界面 就 会 出 现 一 次 重大 变革 。 个 人 电脑 时 代 ， 计 算 机 被 搬 进 每 个 人 的 家 里 ， 鼠 标 
和 键盘 成 为 人 机 交互 界面 的 重大 突破 。 移 动 互 联网 时 代 ， 计 算 机 被 塞 进 了 口袋 里 。 从 实体 键 到 触摸 屏 ， 从 功能 机 到 智能 机 ， 人 机 
交互 发 生 了 巨大 的 变化 。 今 天 ， 智 能 可 穿戴 设备 、 增 强 现实 (Augmented Reality，AR) 和 虚拟 现实 (Virtual Reality，VR) 
正 冲 击 着 现实 和 虚拟 的 界限 ， 人 机 交互 即将 迎 来 新 一 轮 的 变革 。 


增强 现实 技术 首先 在 广告 营销 领域 得 到 应 用 和 发 展 。 风 靡 全 球 的 Pokémon go、 腾 讯 QQ 的 AR 传 火炬 、 支 付 宝 的 AR 实 景 红 
包 ,掀起 了 新 营销 的 不 小 风浪 。 同 时 ， 教 育 、 医 疗 、 工 业 和 旅游 等 领域 的 市 场 需求 也 在 迅速 增长 。 相 信 不 久 的 将 来 ， 增 强 现 实 技 
术 将 渗透 到 我 们 生活 中 的 衣食 住 行 各 个 方面 ， 成 为 人 工 智 能 时 代 的 “水 电 煤 ”。 


业界 早已 有 公司 把 本 书 的 相关 材料 提炼 为 市 场 客户 的 实施 方案 或 作为 课题 来 分 享 。 在 收 到 华章 公司 的 邀请 之 后 ， 我 深 感 有 责 
任 尽 快 把 这 本 书 翻译 成 中 文 ， 把 精彩 的 内 容 分 享 给 同行 以 及 更 多 对 AR 感 兴趣 的 朋友 。 


本 书 的 目的 不 是 深入 讲解 哪 种 特定 的 技术 ， 而 是 通过 介绍 “人 ”和 “机 器 ”的 关系 ， 从 视觉 、 听 觉 、 触 党 的 人 体 机 制 ， 到 可 
穿戴 显示 器 、 传 感 器 、 触 觉 和 力 反 馈 等 硬件 设备 ， 由 浅 入 深 地 帮助 我 们 理解 人 类 感知 系统 在 AR/VR 应 用 中 发 挥 的 作用 。 更 值得 
探讨 的 是 ， 随 着 增强 现实 技术 的 兴起 和 商业 应 用 而 带 来 的 一 些 意义 深远 的 法 律 、 社 会 和 伦理 问题 。 真 实 和 虚拟 并 存 的 世界 会 是 怎 
么 样 ? 让 我 们 一 起 去 探索 吧 ! 


翻译 本 书 的 过 程 中 ， 我 得 到 了 机 械 工 业 出 版 社 华章 公司 天 敏 老师 的 帮助 ， 在 此 深 表 谢意 。 
最 后 ,特别 感谢 我 的 妻子 。 正 因为 有 了 她 的 支持 和 帮助 ， 本 书 才 得 以 在 最 短 的 时 间 内 出 版 ,与 广大 读者 见面 。 


由 于 水 平 有 限 ， 错 误 与 琉 漏 之 处 ， 请 大 家 不 音 指正 。 任 何 建议 ， 欢 迎 发 邮件 至 duwei@outlook.com， 或 关注 微 信 公众 
号 “实用 增强 现实 ”。 


杜威 


2017 年 9 月 


经 过 历时 数 月 的 电气 、 机 械 、 零 重力 、 水 下 工作 状态 及 网 络 系统 的 鉴定 ,我 们 终于 向 国际 空间 站 发 射 了 两 台 微 软 HoloLens 
混合 现实 设备 。2016 年 2 月 20 日 清晨 ， 我 们 位 于 美国 国家 航空 航天 局 约翰 逊 航 天 中 心 任务 控制 的 团队 成 功 向 外 太空 拨 通 了 第 一 次 
全 息 通话 。 宇 航 员 斯 科 特 - 凯 利 接 通 电话 并 带领 我 们 参观 了 他 过 去 一 年 在 太空 中 的 家 。 他 把 我 们 的 视野 带 到 窜 顶 ， 慢 慢 降低 到 阳 
光 防 护 窗 ， 向 我 们 展示 地 球 曲率 。 似 乎 这 些 还 不 够 ， 斯 科 特 随 后 又 在 国际 空间 站 各 个 模块 项 部 做 了 解释 ， 并 谈 到 了 它们 在 科学 发 
现 及 宇航 员 生命 维持 方面 的 重要 性 。 这 一 难忘 的 时 刻 让 我 对 增强 现实 和 虚拟 现实 的 未 来 充满 了 信心 。 


回 到 地 球 ， 我 们 在 美国 国家 航空 航天 局 使 用 类 似 的 技术 ， 将 我 们 的 科学 家 送 到 火星 ， 为 航天 器 工程 师 提 供 可 视 的 CAD 设 
计 ， 并 提高 工作 人 员 的 机 器 人 操作 能 力 。 通 过 提供 更 好 的 远 距 离 环境 感知 ， 我 们 将 消除 操作 员 和 他 们 所 期 望 的 可 操控 的 机 器 人 之 
间 的 物理 障碍 。 解 决 了 设计 初期 的 问题 ， 我 们 可 以 减少 建造 成 本 ， 从 而 建造 更 多 的 航天 器 。 


多 年 以 前 在 研究 各 种 硬 软件 平台 时 ， 我 们 便 开始 了 对 AR/VR 行 业 的 迷恋 。 我 们 已 经 使 用 过 本 书 里 讨论 到 的 很 多 技术 ， 并 为 
即将 到 来 的 更 多 新 技术 感到 兴奋 。 这 个 平台 的 研发 是 独一无二 的 ， 我 们 经 常 在 开发 过 程 中 遇 到 各 种 无 法 预见 的 挑战 。 让 本 书 成 为 
帮助 大 家 理解 和 拓宽 增强 现实 与 虚拟 现实 领域 的 指南 ， 因 为 AR/VR 技 术 已 经 如 同 电视 机 和 互联 网 一 样 无 处 不 在 。 开 放 思 维 、 重 
新 开始 ， 这 样 可 以 避免 新 用 户 的 一 些 常见 误解 。 


正如 在 AR/VR 世 界 中 构建 应 用 一 样 ， 在 美国 国家 航空 航天 局 建造 航天 器 需要 合适 的 材料 和 资源 。 作 为 一 名 开发 者 ， 让 本 书 
成 为 你 必 不 可 少 的 工具 装备 索引 ， 确 保 使 用 合适 的 工具 处 理 合适 的 工作 ， 即 使 那样 意味 着 根本 不 使 用 AR 或 VR 技术 。 


我 们 建造 的 每 一 个 航天 器 都 安装 了 各 种 各 样 的 科学 仪器 。 为 了 最 大 限度 地 利用 科技 和 降低 风险 ， 我 们 在 航天 器 装备 方面 的 选 
择 必须 非常 严格 。 作 为 内 容 创 作者 ， 你 可 以 借用 本 书 中 的 趣闻 轶 事 ， 为 自己 的 听众 挑选 合适 的 故事 。 





美国 国家 航空 航天 局 的 一 个 核心 使 命 就 是 激励 下 一 代 的 探索 者 一 将 人 类 带 到 各 种 小 行星 、 火 星 ， 甚 至 更 远 地 方 的 宇航 
员 。 当 人 类 的 第 一 个 代表 踏 上 火星 时 ， 我 们 将 虚拟 化 呈现 在 现场 。 我 们 欢迎 他 们 的 到 来 ， 并 与 之 一 起 并 肩 探索 。 来 吧 ， 让 我 们 共 
同 探寻 那些 将 永远 改变 现实 的 重大 发 现 。 


一 一 维 克 多 . 罗 
美国 国家 航空 航天 局 喷气 推进 实验 室 软件 系统 工程 学 高 级 技术 主管 


于 加 州 理工 学 院 


推荐 序 三 


自 远古 时 代 起 ， 人 类 就 幻想 能 凭借 魔法 无 中 生 有 ， 或 者 自由 穿梭 于 时 空 。AR 和 VR 技术 在 感官 层面 给 了 人 们 这 种 能 力 和 自 


然而 ， AR、VR， 乃 至 于 MR (混合 现实 ) ， 概 念 尚未 得 到 普及 。 在 外 出 交流 时 ， 常 常 需要 向 听众 不 厌 其 烦 地 解释 它们 之 间 
的 区 别 。 


本 书 既 从 概念 上 也 从 实证 上 讲 清楚 了 AR 与 VR， 仿 读者 一 读 之 后 ， 心 下 了 然 ， 亦 能 触 类 旁 通 ， 将 它们 应 用 于 自己 熟悉 的 领域 
与 专业 。 


一 切 延 展 人 类 胶体 与 感官 能 力 的 科技 ， 都 涉及 人 机 区 豆 ， 也 涉及 更 深层 次 的 问题 : “以 为 自己 吃 到 牛排 ”与 “ 吃 到 一 块 真 的 
牛排 ”之 间 ， 到 底 区 别 何 在 呢 ? 本 书 的 人 体 因 素 部 分 前 释 了 AR/VR 作 为 人 机 交互 技术 ， 在 听觉 、 视 党 、 触 觉 、 思 想 等 方面 与 人 
体 的 互动 关系 。 窃 以 为 ， 如 果 已 了 解 了 基本 概念 ， 这 一 部 分 才 是 最 值得 阅读 的 。 


韩 舌 


广州 亮 风 台 信息 科技 有 限 公司 总 经 理 


第 1 章 ”计算 机 产生 的 世界 


增强 现实 和 虚拟 现实 是 两 种 不 同 的 技术 ， 有 着 显著 区 别 ， 但 却 常常 被 相提并论 。 前 者 提供 跟 周 围 环 境 和 场景 有 着 实时 联系 的 
文本 、 符 号 或 图 形 信息 ; 后 者 则 完全 替换 了 我 们 的 视觉 世界 。 在 本 章 里 ,我 们 将 探索 增强 现实 (AR) 和 虚拟 现实 (VR) 的 基础 
和 依据 ， 明 确 区 分 这 些 系统 的 不 同 能 力 ， 从 而 为 学 习 实现 AR 和 VR 的 技术 打下 基础 ， 并 深入 研究 能 够 解决 问题 的 应 用 程序 。 


1.1 -什么 是 增强 现实 


增强 现实 能 够 把 含有 字母 、 数 字 、 符 号 或 图 形 的 信息 去 加 或 融合 到 用 户 看 到 的 真实 世界 中 ， 是 指 代 各 种 显示 技术 的 通用 术 
语 。 在 最 初创 造 这 个 术语 时 ， 增 强 现实 是 指 把 字母 、 数 字 或 图 形 的 增强 效果 在 用 户 的 真实 世界 视野 里 在 空间 语 境 下 智能 地 校准 、 
关联 和 稳定 。 


虽然 增强 现实 这 个 名 词 本 身 是 一 个 现代 产物 ,但 早 在 20 世 纪 90 年 代 波 音 公司 的 科学 家 汤姆 : 考 德尔 (Tom Caudell) 就 创造 
了 它 。 使 现代 增强 现实 设备 成 为 可 能 的 第 一 项 技术 可 以 追溯 到 20 世 纪 初 ， 当 时 ， 爱 尔 兰 的 望远镜 制造 者 霍华德 -格拉 布 萎 士 (Sir 
Howard Grubb) 申请 了 一 项 专利 。 他 的 发 明 (第 12108 号 专利 ) 命名 为 “一 个 用 于 大 小 型 武器 上 的 新 准 直 式 瞄准 镜 ”， 描 述 了 
一 个 用 于 帮助 瞄准 射击 武器 的 装置 。 


1901 年 格拉 布 在 皇家 都 柏林 协会 科学 研讨 交流 会 上 发 表 的 发 明 描述 可 以 说 是 目光 深远 的 。 

“可 以 想象 一 个 探照灯 式 的 光束 ， 沿 着 枪 的 轴线 方向 投射 ， 并 调整 到 与 火线 一 致 ， 光 束 所 落 在 的 地 方 ， 就 是 击 中 的 目标 。 这 显然 是 不 可 行 的 ， 

但 这 正 说 明了 光束 是 达到 我 们 目的 的 必要 条 件 。” 

Ee TRV es he ly TA oh A 
。7”《〈 格 拉 布 ，1901 






















































































这 项 发 明 解决 了 人 眼 在 某 一 时 刻 只 能 聚焦 于 同一 景深 的 基本 挑战 。 只 能 专注 于 近 距 离 的 物体 ， 或 是 专注 于 远 距离 的 物体 ， 如 
图 1-1 所 示 。 人 有 眼 的 结构 使 得 它 不 可 能 同时 聚焦 在 两 个 物体 上 。 使 用 仪 配 备 了 机 械 瞄 准 器 的 步枪 或 手枪 进行 瞄准 就 特别 具有 挑战 
性 。 至 今 ， 这 仍 是 需要 定期 练习 才能 掌握 的 技能 。 





日 标 视野 视力 视野 


图 1-1 这 张 图 说 明了 在 射击 中 的 一 个 巨大 挑战 ， 即 人 眼 无 法 同时 聚焦 于 不 同 的 景深 
图 片 来 源 : dagaqu 的 《奔跑 的 火 鸡 》 (Running turkey) /Depositphotos .com 


格拉 布 的 发 明 一 般 称 为 反射 瞄准 器 或 反射 式 瞄 准 器 。 图 1-2 中 介绍 了 这 项 发 明 的 基本 功能 ， 即 通过 使 用 一 系列 光学 元 件 ， 将 
聚焦 在 光学 像 无 限 距 处 的 瞄准 标 线 覆 盖 在 远 距 离 目标 上 。 


镜片 上 的 标 线 


vi 人 下 半 镀 银 镜 



































叫 透 镜 锐 内 部 镀 银 


图 1-2 根据 1901 年 的 专利 图 改编 ， 图 解 由 霍华德 " 格拉 布设 计 的 枪支 和 小 型 设备 的 准 直 反 射 瞄准 器 


格拉 布 的 创新 直接 促进 了 用 于 军用 飞机 的 更 先进 的 枪 炮 瞄准 器 的 开发 。 第 一 次 应 用 这 项 技术 是 在 1918 年 ， 德 国光 学 制造 商 
Optische Anstalt Oigee 开 发 了 Oigee 反 射 瞄准 器 ， 如 图 1-3 所 示 。 该 系统 基于 以 45 度 角 安装 的 半 透 明 反射 镜 ， 与 小 电灯 一 同 使 
用 ， 创 造 瞄准 标 线 。 使 用 设备 校准 飞机 枪 炮 后 ， 飞 行 员 能 够 大 幅 提高 武器 命中 精度 (Wallace，1994) 。 


1.1.1 平视 显示 器 


随 着 战斗 机 和 直升机 机 载 系统 愈 趋 复杂 ， 飞 行 员 的 信息 处 理 任务 也 急剧 增加 。 大 量 的 传感器 、 武 器 、 航 空 电 子 系统 ， 以 及 飞 
行 控制 ， 让 飞行 员 需 要 长 时 间 专 注 于 驾驶 舱 内 的 表盘 和 显示 器 ， 而 非 飞 机 外 的 情况 ， 这 往往 会 酿 成 悲剧 。 这 些 发 展 变 化 推动 美国 


与 其 他 国家 的 科学 家 和 工程 师 进 行 广泛 的 研究 ， 了 解 更 直观 、 更 有 效 的 方法 ， 以 便 向 人 类 操作 员 传 达 重 要 的 飞行 、 传 感 器 和 武器 
系统 信息 。 





透镜 


瞄准 阳 腊 





图 1-3 ”由 德国 光学 制造 商 Optische Anstalt Oigee 制 造 的 1918 Oigee 反 射 瞄准 器 使 用 了 电灯 ， 经 过 准 直 后 可 在 部 分 反射 玻璃 元 件 上 
形成 虚拟 瞄准 标 线 。 该 系统 部 署 在 德国 Albatross 和 Fokket DS1 飞 机 上 


图 片 来 源 : Erwin Wiedmer 





随 着 机 载 电子 模拟 计算 机 在 20 世 纪 50 年 代 的 发 展 ， 研 究 的 成 果 使 第 一 个 现代 平视 显示 器 (HUD，head-up display) 得 以 
引进 。“ 习 行 员 前 方 安装 一 个 透明 显示 器 ， 则 可 以 “抬头 ”并 向 前 看 ， 而 不 是 低头 查看 驾驶 舱 里 的 仪表 。 因 为 投影 到 HUD 上 的 信 
息 是 经 过 准 直 的 (平行 光线 ) 并 且 聚 焦 于 无 限 距 处 ， 所 以 飞行 员 的 眼睛 不 需要 在 《机 外 景 和 显示 屏 画 面 之 间 调 焦 。 


一 个 典型 的 HUD 包 含 三 个 主要 组 件 : 投影 装置 、 组 合 器 ( 观 景 玻璃 ) 和 视频 图 像 生成 计算 机 (也 称 为 符号 发 生 器 ) 
(Previc 和 Ercoline，2004) 。 如 图 1-4 所 示 ， 信 息 被 投射 到 聚焦 于 光学 像 无 限 距 处 的 组 合 器 上 ， 为 军用 和 商用 飞机 的 飞行 员 提 
供 各 种 必要 的 数据 和 符号 ， 以 提高 情景 意识 ， 特 别 是 在 低能 见 度 着 陆 和 滑行 操作 时 ， 而 无 须 低头 查看 驾驶 舱 里 的 传统 信息 显示 
器 。 
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图 1-4 本 图 片 是 一 架 美 国 海军 陆 战 队 AV-8B 驶 式 攻 击 机 的 HUD 上 显示 的 基本 飞行 数据 和 符号 。 显 示 信 息 包 括 飞 机 的 高 度 、 速 度 
和 水 平 度 ， 可 辅助 飞行 控制 和 导航 ， 并 帮助 飞行 员 保持 对 周围 环境 的 注意 力 


























图 片 来 源 : 美国 国防 部 




















第 一 架 部 署 了 HUD 的 战斗 机 是 1958 年 被 称 为 Blackburn Buccaneer 的 英国 低空 攻击 机 (Nijboer，2016) 。 到 目前 为 止 的 
所 有 HUD 都 融 汇 了 格拉 布 最 初 发 明 中 的 一 些 基本 概念 。 


让 操作 员 专 注 于 手头 任务 的 原理 也 推动 着 平视 技术 融入 到 越 来 越 多 的 新 汽车 设计 中 (Newcomb，2014) 。 


1.1.2” 头 戴 式 瞄准 具 和 显示 器 


20 世 纪 60 年 代 ， 随 着 驾驶 舱 航 空 电子 设备 、 传 感 器 和 武器 系统 的 不 断 发展 ， 全 球 军事 实验 室 的 科学 家 和 工程 师 也 在 不 断 努 
力 减轻 飞行 员 的 信息 处 理 负 担 ， 改 善 对 传感器 和 武器 的 控制 。 从 逻辑 上 推断 ,下 一 步 分 信息 从 HUD 转 移 到 飞行 员 的 头盔 


显示 器 上 。 


20 世 纪 60 年 代 后 期 ， 南 非 空军 (SAAF) 开发 了 头 戴 式 瞄 准 具 (HMS，helmet-mounted sight) ， 拉 开 了 这 场 演变 的 序 
幕 。HMS 可 帮助 飞行 员 瞄 准 热 追踪 导弹 (Lord，2008) 。 在 此 之 前 ， 飞 行 员 需要 操纵 飞机 ， 让 目标 落 在 HUD 的 视野 范围 以 内 。 


20 世 纪 70 年 代 初 ， 美 军 陆军 为 AH-1G 休 伊 眼镜 蛇 直 升 机 部 署 了 一 个 头 部 跟踪 瞄准 器 ， 为 万 向 枪 指 示 方向 。 在 此 之 后 ， 美 国 
海军 在 F-4 Phantom 11 飞 机 上 部 署 了 第 一 版 目 视 目标 采集 系统 (VTAS，Visual Target Acquisition System) ， 以 利用 AIM-9G 
响尾蛇 导弹 空 对 空 导弹 的 锁定 能 力 。 在 操作 中 ， 响 尾 蛇 导 弹 搜寻 器 或 飞机 雷达 安装 在 飞行 员 的 头 部 。 飞 行 员 利用 显示 在 单 目 眼 
镜 “Granny Glass” (VTAS 1) 或 头盔 护 目 镜 (VTAS 1 里 的 瞄准 景象 ， 以 及 跟踪 头 部 运动 的 传感器 来 控制 导弹 。 


在 接 下 来 的 几 年 中 ， 数 十 种 不 同 的 头 戴 式 显示 器 以 各 种 形式 设计 而 成 ， 包 括 单 目镜 ( 单 目 单 像 ) 、 双 目镜 ( 双 目 单 像 ) 、 
目 并 用 镜 (每 只 眼睛 都 可 见 单独 的 视点 校正 图 像 ) 、 护 目镜 投影 等 等 。 它 们 的 关键 特性 是 能 够 将 信息 多加 到 飞行 员 的 真实 世界 


的 视野 之 上 。 这 些 信息 采用 了 各 种 形式 ， 包 括 标准 航空 电子 设备 和 武器 信息 ， 以 及 诸如 前 视 红 外 雷达 (FLIR) 提供 的 传感器 数 
据 。 在 第 5 章 和 第 17 章 中 ， 我 们 将 详细 探讨 这 些 系统 。 


1.1.3 ”智能 眼镜 和 增强 型 显示 器 


在 过 去 的 几 年 中 ， 增 强 型 显示 技术 已 经 从 纯粹 的 防御 和 特殊 应 用 领域 过 渡 到 商用 产品 ， 未 来 还 会 有 更 广泛 的 应 用 。 阅 读本 书 
时 ， 可 概览 一 些 新 型 显示 器 与 大 量 创新 的 应 用 概况 。 


使 用 光学 透视 显示 器 ， 用 户 可 以 通过 单 目 或 双 目 并 用 光学 元 件 (例如 全 息 波导 或 其 他 系统 ) 观看 真实 世界 ， 将 图 像 、 视 频 和 
符号 夸 加 到 现实 环境 中 。 


2. 视 频 透视 显示 器 


使 用 视频 透视 头 戴 式 显示 器 (HMD) ， 实 际 视野 首先 由 安装 在 显示 器 前 面 的 一 个 或 两 个 摄像 机 捕获 。 这 些 图 像 与 计算 机 生 
成 的 图 像 相 结合 ， 然 后 呈现 给 用 户 。 二 者 的 区 别 如 图 1-5 所 示 。 





光学 透视 视频 透视 
视频 
摄像 机 
2 (2) 
图 1-5 本 图 像 说 明了 两 种 主要 类 型 的 头 戴 式 增强 现实 显示 器 之 间 的 核心 区 别 。 左 图 显示 ， 一 个 光学 透视 显示 器 直接 在 用 户 的 真 


实 世 界 视图 上 营 加 符号 和 图 像 。 右 图 显示 ， 视 频 透 视 显示 屏 将 向 外 的 摄像 机 收集 的 图 像 与 计算 机 生成 的 图 形 相 结合 。 这 些 组 合 的 
图 像 通 过 头 戴 设备 内 的 显示 元 件 呈 现 给 用 户 


图 片 来 源 : decade3d/Depositphotos .com 
3. 手 持 / 移 动 增强 现实 设备 


尽管 本 书 重点 是 介绍 传统 的 可 穿戴 AR 和 VR 技术 ， 但 基于 平板 电脑 和 智能 手机 的 手持 式 增强 显示 设备 (如 图 1-6 所 示 ) 同样 
值得 关注 。 所 有 这 些 系统 都 使 用 设备 上 的 摄像 机 将 现实 场景 与 计算 机 生成 的 图 像 相 融合 ， 因 此 可 被 归 类 为 视频 透视 设备 。 





图 1-6 基于 智能 手机 和 平板 电脑 的 手持 式 增强 现 实 系统 将 登 加 的 信息 和 与 实体 目标 及 位 置 相 关联 的 数字 内 容 呈 现 出 来 。 在 所 示 
的 例子 中 ， 平板 电脑 应 用 程序 能 够 识别 固定 在 墙 上 的 插图 里 的 增强 现实 图 标 ， 显 示 出 阀门 手 枉 的 3D 模 型 。 当 用 户 移动 平板 电脑 
时 ， 虚 拟 手柄 依然 保持 稳定 展示 


























图 片 来 源 :美国 海军 研究 办 公 室 























部 分 增强 现实 显示 器 的 另 一 个 关键 属性 是 主机 系统 对 摄像 机 图 像 的 分 析 。 第 17 章 中 举例 说 明了 这 样 一 个 系统 ， 通 过 对 摄像 
机 图 像 的 分 析 ， 系 统 可 检测 驾驶 舱 尾 部 和 机 窗 前 部 的 位 置 ， 并 将 虚拟 飞机 图 像 呈 现在 飞行 员 的 眼前 。 


虚拟 现实 一 词 因 各 种 原因 而 难以 定义 ， 主 要 原因 是 虚拟 和 现实 这 两 个 词 的 意图 和 含义 之 间 有 冲突 。 


渐渐 地 ， 任 何 显示 技 术 ， 似 乎 只 要 与 “三 维 ” 一 词 有 所 关联 ， 都 会 被 不 做 功课 的 营销 人 员 和 其 他 跟风 者 炒作 。 这 一 术语 缺 乏 
专门 性 ， 且 受到 广泛 应 用 ， 因 而 造成 了 使 用 上 的 混乱 。 


在 本 书 中 ， 我 们 更 倾向 于 这 一 短语 的 最 初 使 用 ， 指 显示 技术 ， 包 括 佩戴 式 和 固定 放置 ， 通 过 3D 计 算 机 模型 或 模拟 技术 ， 给 
用 户 带 来 强烈 的 视觉 感知 或 沉浸 感 ， 如 图 1-7 所 示 。 这 可 由 两 种 主要 方法 实现 : 使 用 立体 头 戴 式 (或 头 部 连接 ) 显示 器 ， 以 及 大 
型 完全 沉浸 和 半 沉 浸 式 投影 型 系统 ， 比 如 计算 机 辅助 虚拟 环境 (洞穴 ) 和 圆 项 。 


’ A 


NN INI AZ 
从 0 | MY I 
| ph yy fA J 尼 AAA GZ 





EA: 
图 1-7 这 个 分 级 图 像 旨 在 说 明 沉 浸 式 虚拟 现实 的 基本 概念 。 相 对 于 观看 桌面 显示 器 ， 其 本 质 上 是 一 个 3D 世 界 上 的 2D 窗 口 ， 沉浸 
式 庶 拟 现实 系统 为 用 户 在 3D 模 型 或 模拟 环境 中 提供 实际 存在 的 视觉 感知 


图 片 来 源 : NASA 及 innovatedcaptures@l123RE.com 





许多 虚拟 现实 系统 和 应 用 程序 为 了 补充 视觉 显示 效果 ， 会 结合 一 些 3D 音 频 解决 方案 。 这 些 系统 详 述 于 第 8 章 中 。 


虚拟 现实 一 词 最 早 在 1987 年 由 第 一 款 商 用 VR 产 品 制造 商 VPL Research，lnc. 的 创始 人 及 前 任 首席 执行 官 Jaron Lanier 推 广 
使 用 ， 但 虚拟 现实 的 核心 概念 和 使 能 技术 早 在 几 十 年 前 就 开始 发 展 了 。 


特别 值得 关注 的 是 美国 计算 机 科学 家 和 图 形 先 驱 伊 万 ` 萨 瑟 兰 (lvan Sutherland) 的 工作 。20 世 纪 60 年 代 中 期 ， 在 哈佛 大 学 
担任 电气 工程 副教授 期 间 ， 萨 瑟 兰 拜访 了 贝尔 直升机 公司 。 在 那里 他 看 到 一 个 立体 头 戴 式 显示 器 与 红外 摄像 机 相连 接 ， 并 安装 在 


直升机 下 方 ， 用 于 协助 夜间 着 陆 。 萨 瑟 兰 解释 道 : 
我 们 得 到 了 带 有 两 个 CRT 的 头 戴 式 显示 器 的 复制 品 。 我 们 的 想法 是 ,如 果 由 计算 机 而 不 是 红外 摄像 机 生成 图 像 ， 是 不 是 很 有 趣 ? ““”(〈 萨 瑟 
兰 ，2005 




















如 图 1-8 所 示 ， 萨 瑟 兰 使 用 的 贝尔 直升机 HMD 基 于 两 个 CRT， 分 别 安装 在 用 户 的 头 部 两 出。 来 自 CRT 的 图 像 通过 一 系列 透镜 
和 半 镀 银 镜 导向 用 户 的 眼睛 。 萨 琴 兰 和 一 名 同事 开发 了 悬挂 在 天 人 花 板 上 的 电 枢 ， 跟 踩 用 户头 部 的 运动 。 系 统 提供 的 视觉 效果 是 寺 
加 在 用 户 所 见 的 现实 世界 画面 之 上 的 简单 线 框 几何 形状 。 借 助 于 悬挂 在 天 花 板 并 连接 到 显示 器 上 的 跟踪 电 枢 ， 可 以 计算 转换 图 
像 ， 并 且 更 新 线 框图 像 的 视图 ， 反 映 视点 的 物理 变化 。 





图 1-8 本 图 像 展示 了 由 贝尔 直升机 开发 的 头 戴 式 显示 器 ， 由 计算 机 科学 家 伊 万 ， 萨 瑟 兰 和 学 生 用 于 进行 早期 增强 和 虚拟 现实 的 








图 片 来 源 : Pargon 的 ELickr 相 册 ， 获 CC 2.0 许 可 








与 萨 琶 兰 在 20 世 纪 60 年 代 和 20 世 纪 70 年 代 在 民用 研究 实验 室 的 工作 类 似 ， 美 国 空军 为 自身 发 展 付出 了 大 量 的 努力 。 特 别 值 
得 注意 的 是 在 俄 文 俄 州 赖 特 - 帕 特 森 空军 基地 ， 在 托马斯 弗 内 斯 (Thomas Furness) 博士 指导 下 进行 的 工作 。 其 中 一 个 项 目 侧 
重 于 开发 用 于 飞行 控制 的 虚拟 接口 。1982 年 ， 弗 内 斯 展示 了 一 个 称 为 VCASS (视觉 耦合 机 载 系统 模拟 器 ) 的 系统 ， 如 图 1-9 所 
示 。 

VCASS 系 统 使 用 高 分 辨 率 CRT 向 模拟 器 操作 员 显 示 视 觉 信 息 ， 比 如 计算 机 生成 的 3D 地 图 、 传 感 器 图 像 和 航空 电子 数据 。 头 
轰 的 跟踪 系统 、 语 音 控制 和 其 他 传感器 使 得 飞行 员 能 够 用 手势 、 语 音 和 眼球 运动 来 操作 飞机 模拟 器 ， 将 融合 数据 信息 的 虚拟 空间 
中 的 沉浸 感 转化 为 控制 模式 (Lowood，2016) 。 





图 1-9 左 图 显示 了 一 名 工程 师 坐 在 实验 室 轰 驶 舱 ， 头 戴 美 国 空军 的 视觉 耦合 机 载 系统 模拟 器 (VCASS) 头盔 (大 约 在 1982 
年 ) 。 右 图 是 向 用 户 显 示 的 图 像 ， 包 括 地 形 场景 、 符 号 和 航空 电子 数据 等 


图 片 来 源 : DoD 


从 这 些 早期 系统 的 开发 至 今 ， 已 经 开发 了 大 量 完 全 沉浸 式 立 体 头 戴 式 显 示 器 ， 尽 管 其 中 高 端 模拟 和 培训 市 场 占 了 多 数 。 只 有 
在 过 去 几 年 中 ， 这 些 系统 的 商用 版 本 才 开始 进入 市 场 。 第 6 章 将 详细 描述 其 中 大 部 分 显示 器 。 


1.3 结论 
在 本 章 中 ， 我 们 已 经 探讨 了 虚拟 现实 和 增强 现实 系统 的 基础 ， 明 确 了 它们 之 间 的 不 同 功能 ， 以 及 各 种 不 同 却 互相 关联 的 连接 
现实 的 方式 。 尽 管 与 虚拟 现实 的 炒作 有 很 大 关系 ， 但 可 以 肯定 的 是 ， 增 强 现实 最 终 将 得 到 更 广泛 的 应 用 。 


请 记 住 ， 任 何 市 场 上 最 为 成 功 的 是 那些 满足 刚性 需求 或 解决 实际 问题 的 产品 。 为 此 ， 对 于 普通 消费 者 和 企业 用 户 而 言 ， 在 日 
常生 活 或 工作 过 程 等 多 个 应 用 领域 中 ， 个 人 数据 显示 器 将 变 得 非常 有 用 。 智 能 手机 、 应 用 程序 和 全 面 的 “移动 生活 方式 ”的 广泛 


相 比 之 下 ， 完 全 沉浸 式 的 虚拟 现实 在 空间 上 是 有 限制 的 ， 并 且 在 极 大 程度 上 将 用 户 与 现实 世界 隔离 开 来 。 一 旦 用 户 戴 上 头 戴 
式 显示 器 ， 便 会 失去 与 周围 环境 的 关联 ， 严 重地 限制 了 移动 性 。 除 了 大 众 市 场 的 游戏 和 娱乐 之 外 ， 虚 拟 现实 将 会 扩展 到 本 书 中 详 
细 介 绍 的 大 量 专业 应 用 市 场 。 但 实际 上 ， 身 临 其 境 的 虚拟 现实 是 人 们 真正 想 要 或 需要 的 独立 产品 吗 ? 这 不 太 可 能 。 


随 着 本 书 的 深入 ， 读 者 会 看 到 目前 基于 像素 的 LCD、OLED 和 AMOLED 虚 拟 现 实 显示 器 的 实现 最 终 将 让 位 于 两 用 增强 耳机 甚 
至 隐形 眼镜 。 这 些 系统 的 研发 已 经 在 顺利 进行 中 。 


第 2 草 ”了解 虚 拟 空间 


过 度 的 宣传 、 新 时 代 的 哲学 沉思 及 专业 术语 的 创造 性 使 用 ， 使 得 虚拟 空间 的 概念 令 人 困惑 。 在 本 书 绪论 部 分 的 第 2 章 中 , 我 
们 将 探讨 虚拟 空间 概念 的 基本 概述 ， 包 括 它 与 物理 空间 的 相似 点 和 不 同 点 ， 用 于 空间 定义 、 描 述 及 规划 的 惯常 方法 ， 以 及 导航 工 
具 和 技术 。 


2.1 视觉 空间 的 定义 和 内 容 


关于 空间 概念 和 性 质 的 观点 及 定义 彼此 大 不 相同 ， 主 要 取决 于 所 研究 的 领域 或 专业 。 从 历史 的 角度 来 看 ， 追 溯 至 古代 ， 这 一 
主题 早已 成 为 哲学 家 和 科学 家 之 间 几 次 伟大 辩论 的 焦点 。 古 希腊 哲学 家 、 数 学 家 柏拉图 (公元 前 428 一 前 348) 在 对 话 录 《 蒂 迈 
欧 篇 》 (Timaeus) 中 提 到 该 主题 ， 他 把 空间 描述 为 诞生 创造 的 子宫 和 容器 。 他 在 对 话 录 《 巴 门 尼 德 篇 》 (Parmenides) 中 声 
称 万 物 之 中 省 有 空间 ( 乔 伊 特 (Jowett) ，1901) 。 亚 里 士 多 德 (公元 前 384 一 前 322) 在 《物理 学 》 第 4 卷 中 曾 假设 空间 或 地 
点 是 包含 体 的 内 在 限制 ( 门 德尔 (Mendell) ，1987) 。 


近期 ， 来 自 更 广泛 科学 和 数学 社区 中 的 定义 阐明 ， 物 理 空间 是 一 个 有 着 相对 位 置 和 方向 的 无 限 三 维 空间 ， 在 这 一 空间 内 将 产 
生 各 种 事物 ( 韦 氏 词典 (Merriam-Webster) ，2016) 。 物 理学 家 通常 认为 物理 空间 ， 连 同时 间 是 四 维 连 续 体 ， 即 时 空 的 一 部 
分 。 


在 计算 机 科学 领域 ， 空 间 这 个 词 更 多 用 作 基 础 概念 的 类 比 或 隐喻 ， 它 科学 验证 了 物理 空间 、 时 间 和 物质 是 相对 的 这 一 真理 。 
在 此 背景 下 ， 空 间 和 世界 纯粹 以 数学 为 特征 ， 由 数学 所 定义 。 它 们 并 不 以 物质 形态 仔 在 ， 而 是 作为 存储 于 半导体 存储 器 或 辅助 存 
储 设备 里 的 硅 晶 体 管 中 的 字 节 人 存在 。 这 些 虚拟 空间 、 世 界 或 环境 仅仅 由 程序 员 或 设计 师 指定 的 特性 所 控制 ， 因 此 它们 的 出 现 、 规 
划 和 表现 可 获得 无 限 的 灵活 性 。 


虚拟 和 增强 现实 开发 人 员 正 在 开展 工作 ， 寻 求 准确 模拟 这 些 数字 空间 的 视觉 和 听觉 特 性 ， 其 中 探索 出 应 用 于 这 些 创 造物 的 天 
键 基 本 概念 十 分 重要 。 


2.1.1 视觉 和 物体 空间 


由 于 应 用 于 虚拟 和 增强 现实 领域 ， 视 觉 空间 (visual space) 这 一 词组 可 定义 为 用 户 或 参与 者 体验 的 虚拟 环境 的 感知 空间 ， 
或 视觉 场景 。 视 觉 空间 是 独一无二 的 ， 因 为 用 户 感知 到 的 场景 实际 上 是 光线 通过 眼角 膜 和 晶状体 进入 人 眼 ， 最 终 落 在 视网膜 的 视 
杆 细胞 和 视 锥 细胞 上 ， 由 细胞 转换 为 电 脉冲 ， 并 传达 至 大 脑 进行 解释 的 结果 (这 一 过 程 在 第 3 章 中 有 更 详细 的 讨论 ) 。 换 句 话 
说 ,我 们 从 周边 世界 感知 到 的 物体 定位 ， 实 际 上 是 布 满 双 眼 视网膜 的 光线 模式 的 重建 。 


眼睛 的 光学 通路 和 各 种 感知 信号 ， 例 如 深度 感知 、 大 小 感知 、 形 状 感知 、 距 离 感 知 、 方 向 感知 及 运动 感知 很 大 程度 上 影响 着 
用 户 最 终 “ 看 到 的 事物 ” ， 但 展示 立体 图 像 的 具体 方式 同样 重要 。 那 么 光学 是 否 会 扭曲 视觉 场景 ”半球 形 显示 屏 或 其 他 大 型 沉浸 
式 观 景 系统 等 曲面 上 的 投影 是 否 会 扭曲 景观 ， 包 括 物 体 的 大 小 和 位 置 ” 通常 ， 每 只 眼睛 看 到 的 是 空间 的 不 同 表 现 。 


了 


鉴于 展示 中 存在 着 大 量变 量 ， 视 沉 空 间 可 视 为 虚拟 物体 空间 (object space) 的 主观 相对 物 ， 在 这 一 空间 里 ，3D 模 型 中 实 
体 的 定位 和 形状 可 以 通过 多 坐标 系统 和 简单 的 几何 图 形 来 准确 界定 。 


2.1.2 内容 


在 大 多 数 情况 下 ， 虚 拟 空间 /世界 /环境 所 包含 的 内 容 是 通过 使 用 几 十 个 商用 3D 计 算 机 辅助 设计 (CAD) 和 几何 建 模 项 目 ， 
例如 Autodesk 3ds MAX、AutoCAD、Maya 及 Dassault Systemes CATIA 创 建 的 ， 如 图 2-1 所 示 。 单 个 物体 或 极为 精细 的 复杂 


模型 ， 例 如 现代 飞机 的 机 身 或 者 炼油 厂 的 管道 布置 都 将 导入 仿真 引擎 ， 以 供 通过 所 选 显 示 屏 观看 。 


在 如 图 2-2 所 示 的 科学 可 视 化 应 用 中 ， 无 法 预知 规模 和 结构 的 大 型 数据 集 将 输入 观看 系统 ， 即 使 在 此 情况 下 ， 用 于 创建 视觉 
表征 的 个 体 原始 元 素 ， 包 括 点 、 直 线 、 圆 、 曲 线 、 三 角形 和 多 边 形 ， 以 及 立体 图 形 ， 例 如 立方 体 、 圆 柱 体 、 球 体 和 圆锥 体 ， 与 无 
限 多 样 的 复杂 表面 都 是 工程 师 或 软件 设计 师 预先 进行 数学 定义 的 产物 。 除 了 实际 几何 表现 ， 这 些 模 型 还 具有 其 他 特征 和 特性 ， 包 
括 纹理 、 光 反射 属性 和 透明 度 、 声 反射 特性 和 强度 特性 (用 于 触觉 感知 / 力 反 馈 交 互 ) 。 虚 拟 世界 中 不 会 形成 任何 实体 ， 一 切 都 
是 根据 意图 创建 的 。 


最 终 ， 读 者 很 可 能 在 研究 环境 之 外 接触 到 虚拟 和 增强 现实 应 用 ， 大 部 分 应 用 中 的 视觉 内 容 将 以 2D 和 3D 分 析 几 何 学 (也 称 为 
解析 几何 ) 为 原则 ， 这 些 原 则 将 在 下 一 节 中 进行 描述 





图 2-1 复杂 的 3D 模 型 或 者 单个 物体 ， 可 通过 使 用 任何 数量 的 CAD 及 几何 建 模 项 目 进 行 创建 


图 片 来 源 : i .love.marimilk 的 Flickr 相 册 ， 获 CC 2.0 许 可 








图 2-2” 爱 达 荷 国家 实验 室 地 球 与 环境 科学 先进 能 源 研究 中 心 的 研究 人 员 使 用 沉浸 式 虚 拟 现实 系统 ， 例 如 计算 机 辅助 虚拟 环境 


(CAVE) 去 展示 用 于 可 视 化 和 分 析 的 复杂 科学 数据 

















图 片 来 源 ， 爱 达 蓓 国家 实验 室 的 Flickr 相 册 ， 获 CC 2.0 许 可 














2.2 ”三 维 空 间 中 的 位 置 与 方向 定义 


人 类 是 空间 动物 。 我 们 以 三 维 的 方式 观察 、 听 取 周 边 的 实体 环境 ， 与 之 互动 并 穿行 其 中 。 本 书 将 反复 提 到 ， 我 们 的 感官 机 制 
经 过 完全 进化 ， 能 很 好 地 处 理 三 维 形式 的 信息 。 实 际 上 ， 当 前 许多 高 级 人 机 界面 的 设计 、 开 发 和 基础 研究 的 核心 依据 便 是 对 这 些 
感官 优势 的 利用 。 因 此 ， 大 部 分 虚拟 环境 都 是 以 三 维 坐标 系 来 定义 的 ， 并 包含 二 维 与 三 维 几 何 元 素 。 











2.2.1 位置 的 定义 











虚拟 和 增强 现实 应 用 的 布局 与 规划 中 ， 常 用 到 3 种 主要 坐标 系 : 笛 卡 尔 直角 坐标 系 、 球 坐标 系 和 柱 面 坐标 系 。 尽 管 普通 用 户 
很 少 会 用 到 这 些 坐标 系 ， 了 解 其 基本 功能 与 应 用 仍然 大 有 益处 。 


1. 笛 卡尔 坐标 系 


基于 标准 笛 卡 尔 坐标 系 的 熟悉 度 、 准 确 度 与 简易 度 ， 大 部 分 虚拟 空间 都 使 用 这 一 系统 ， 如 图 2-3 所 示 。 在 该 坐标 系 中 ， 每 个 
点 都 能 以 独特 的 三 个 坐标 值 (x，y，z) 明确 描述 ， 说 明 该 点 到 三 个 相互 垂直 的 平面 的 具体 距离 (以 同样 的 长 度 单位 计量 ) 。 通 
过 这 种 物体 几何 形式 ， 可 以 精确 地 定义 并 人 存储 多 个 物体 彼此 之 间 的 关系， 以 及 它们 在 物体 空间 中 的 位 置 。 


笛 卡 尔 坐 标 系 除了 可 以 作为 实体 空间 、 理 论 空间 和 创意 虚拟 空间 最 为 常用 的 数学 制图 工具 之 外 ， 还 可 以 用 来 定义 用 户 在 该 空 


间 内 的 位 置 与 视角 。 
2. 球 坐标 系 


虽然 可 以 用 标准 笛 卡 尔 坐 标 系 来 定义 点 、 线 、 面 和 完整 物体 在 虚拟 空间 中 的 位 置 ， 摘 述 物体 和 特征 与 用 户 位 置 的 相对 性 ( 例 
如 虚拟 声 源 或 球形 视频 (又 称 360° 视 频 ) 中 的 相对 位 置 ) 时 ， 则 往往 要 利用 另 一 个 系统 ， 球 坐标 系 。 如 图 2-4 所 示 ， 该 坐标 系 由 
将 球体 一 分 为 二 的 多 个 基础 平面 构成 ， 包 含 3 个 要 素 : 方位 角 、 仰 角 和 距离 (或 称 数量 积 、 范 围 ) 。 第 7 章 将 对 此 坐标 系 及 其 在 
声 源 定位 中 的 应 用 进行 详细 介绍 。 
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图 2-3 三维 科 卡尔 坐标 系 中 的 每 个 点 都 可 以 通过 独特 的 x、y 和 2z 值 描述 。 





图 片 来 源 : Jorge Stolfi 在 Wikimedia 的 照片 





图 2-4 球 坐 标 系 图 示 ， 通 过 方位 角 〈6) 、 距 离 /范围 〈(b) 和 仰角 (中) 定义 点 (P) 的 位 置 


图 片 来 源 ，Andeggs 在 Wikimedia 的 照片 
3. 柱 面 坐标 系 


虚拟 现实 应 用 中 常用 的 第 三 种 坐标 系 是 柱 面 坐标 系 ， 继 承 自 20 世 纪 90 年 代 苹 果 公 司 的 QuickTime VR 系 统 。 使 用 这 种 坐标 系 
的 数字 技术 能 够 精确 地 衔接 并 对 齐 画面 重 玛 与 边缘 处 ， 保 持 所 有 的 点 与 中 央 基 准 轴 距离 一 致 ， 因 而 大 量 用 于 360"x180"” “沉浸 
式 ” 全 景 或 360" 视 频 背 景 的 静态 图 像 镶嵌 制作 过 程 。 


如 图 2-5 所 示 ， 中 央 基 准 轴 (L) 也 称 柱 轴 或 纵 轴 ， 是 定义 径 向 距离 (p) 的 基点 (DO) ， 以 (中 ) 来 定义 角 坐 标 、 (z) 定义 


高 度 。 


柱 面 坐标 系 对 于 要 求 纵 轴 旋转 对 称 的 场景 非常 实用 ， 但 要 注意 ， 这 一 方法 只 可 用 于 垂直 视 场 ， 如 360"x 180" 全 景 应 用 。 
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图 2-5 柱 面 坐标 系 包 含 基 点 O、 极 坐标 轴 A 和 纵 轴 L。 注 意 ， 节 点 沿 A 轴 和 L 轴 排列 ， 图 中 标 出 的 点 的 径 向 距离 (p) =4， 角 坐标 


(9) =130 ， 高 (z) =4。 














片 来 源 : Jorge Stolfi 在 Wikimedia 的 照片 


2.2.2 方向 与 旋转 的 定义 

除了 确定 物体 的 所 在 地 (或 位 置 ) ， 往 往 还 要 定义 并 追踪 物体 和 用 户 视 角 在 该 物体 空间 坐标 系 中 的 方向 与 旋转 动作 。 简 单 的 
例子 包括 ， 定 义 虚 拟人 手 等 物体 的 动作 ， 或 跟踪 用 户 佩戴 头 戴 式 显示 器 时 所 看 的 方向 。 

在 二 维 空间 中 ， 只 有 相对 于 一 个 轴 的 单一 自由 度 旋 转 ， 产 生 的 数值 也 只 有 一 个 。 


但 在 三 维 条 件 下 ， 对 方向 的 定义 与 实际 刚体 相似 ， 至 少 需要 3 个 单独 的 数值 。 如 图 2-6 所 示 ， 最 常用 的 是 泰 特 - 布 莱 恩 角 ， 更 
准确 地 说 ， 是 左右 摆动 角 、 前 后 摆动 角 和 左右 转动 角 。 


在 虚拟 和 增强 现实 领域 ， 通 常 把 位 置 (x，y，z) 和 方向 (左右 摆动 ， 前 后 摆动 ， 左 右 转动 ) 统称 为 6 个 自由 度 (常常 缩写 


为 6 DOF) 。 


定义 物体 在 3D 计 算 机 模拟 中 的 旋转 与 轨迹 ， 复 杂 性 又 略 高 一 筹 。 回 看 图 2-6， 要 想 改 变 头 部 的 方向 ， 从 面 对 左 下 方 转 为 右上 
方 ， 只 有 两 个 选择 : 一 是 沿 着 不 同 的 轴 连 续 转 动 头 部 直到 想 要 的 位 置 ， 二 是 通过 一 个 流畅 的 动作 完成 重新 定位 。 


第 一 种 做 法 使 用 的 是 欧 拉 角 ， 通 过 多 次 对 固定 轴线 做 特定 角度 的 旋转 来 实现 ， 但 有 时 会 出 现 万 向 节 锁 和 运动 不 畅 的 问题 。 第 
二 种 选择 则 是 利用 四 元 数 (quaternion) ， 如 图 2-7 所 示 ， 它 是 一 个 标准 四 项 坐标 系 ， 能 够 在 空间 内 流畅 地 转换 方向 ， 速 度 也 比 
和 矩阵 形式 的 旋转 组 合 要 快 。 


除了 定义 模拟 系统 中 的 物体 位 置 、 方 向 和 旋转 ， 这 些 技术 还 被 用 来 计算 实际 用 户头 部 和 手 部 的 位 置 与 方向 。 第 11 章 将 详细 
介绍 此 类 使 能 技术 。 


左右 转动 








新 后 摆动 
(y) 





左右 摆动 
(x) 


图 2-6 ”本 图 表示 3 种 旋转 类 型 : 左右 摆动 、 前 后 摆动 和 左右 转动 


图 片 来 源 : S.Aukstakalnis 
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四 元 数 单 位 产品 在 四 维 空间 做 90°? 旋 转 的 图 示 
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图 2-7 本 图 是 四 元 数 单位 产品 在 四 维 空间 内 做 90” 旋 转 的 图 示 。 四 元 数 用 于 表达 旋转 动作 时 简明 精练 ， 易 于 转换 ， 且 不 受 万 向 
节 锁 的 困扰 








图 片 来 源 : Prokp Hapala 在 Wikimedia 的 照片 








2.3 导航 


从 字面 上 看 ， 虚 拟 环境 下 的 导航 和 寻 路 概念 似乎 相对 简单 ， 但 实际 上 ， 这 是 两 个 在 该 领域 最 为 复杂 且 或 待 解决 的 问题 。 目 前 
探讨 较 多 的 内 容 包括 导航 界面 设计 、 空 间 认 知 研究 和 实 境 导航 对 比 、 人 体 因 素 考 量 等 


整体 而 言 ， 大 部 分 虚拟 环境 下 的 导航 方式 有 两 种 : 近 地 任 务 时 做 实际 运动 ， 虚 拟 距离 较 大 时 则 采用 人 工 界面 操作 (Slater et 
al.，1995) 。 举 个 最 简单 的 例子 ， 假 设 你 站 在 一 个 虚拟 房间 中 间 ， 周 围 摆 满 了 外 形 靓 丽 的 跑车 。 这 时 ， 你 不 太 可 能 利用 任何 人 
工 界面 来 操纵 自己 的 视角 ， 反 而 会 在 汽车 模型 的 周围 实际 走动 ， 欣 赏 简洁 的 车 体 线条 ， 甚 至 会 把 脑袋 伸 进 车 窗 查 看 更 多 细节 。 


再 假设 你 此 刻 置 身 于 故宫 的 虚拟 模型 中 ， 对 周围 充满 好 奇 。 如 果 佩 戴 了 头 戴 式 显示 器 ， 你 的 身体 运动 将 受 限 于 线 缆 的 长 度 和 
追踪 技术 的 有 效 范 围 。 即 时 使 用 的 是 CAVE 这 种 大 规模 沉浸 式 显示 设备 ， 你 的 实际 运动 也 同样 会 受 该 系统 有 效 显示 区 域 的 限制 
(一 般 为 10 ~ 12 平 方 英尺 ， 约 0.9 ~ 1.1 平 方 米 ) 。 


此 时 ， 你 有 哪些 选择 ? 

确实 ， 过 去 几 年 出 现 了 几 十 种 人 工 界面 ， 包 括 3D 的 鼠标 、 手 杖 、 游 戏 手柄 、 手 势 识 别 手套 、 运 动 监 测 戒 指 、 操 纵 杆 、 方 向 
盘 、 万 向 踏 车 、 眼 部 追踪 导航 和 诸多 其 他 设备 ， 能 为 各 种 需求 提供 无 数 种 选择 。 每 种 设备 都 通过 按钮 、 开 关 、 微 型 操纵 杆 等 机 制 
协助 人 在 物体 空间 中 进行 视角 转换 。 

除了 这 些 人 工 界 面 之 外 ， 还 有 更 为 大 型 的 系统 ， 能 够 帮助 用 户 在 空间 中 有 效 行走 ， 拓 展 正常 的 直 党 型 行动 方式 。 这 些 系统 包 


括 万 向 踏 车 和 如 图 2-8 所 示 的 直径 10 英 尺 [1 的 空心 球形 设备 ， 名 为 VirtuSphere。 第 12 章 将 详细 介绍 促进 虚拟 环境 导航 的 现 有 商 
业 应 用 。 


出 无 限 的 球形 空间 ， 用 户 可 以 向 任何 方向 走动 
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获 GNU GFDL 许 可 


Paul Mongday 在 Wikimedia 的 照片 ， 


坚决 方案 。 可 以 肯定 的 是 ， 在 虚拟 环境 中 行动 、 导 


见 一 个 普 适 性 的 界面 角 


有 、 将 来 也 不 会 出 
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和 人 们 设想 的 一 样 ， 现 在 





物体 互动 的 方式 必须 建立 在 现 有 项 目的 基础 之 上 。 例 如 ， 游 戏 玩家 对 导航 的 需求 与 建筑 师 或 航空 工程 师 在 设计 审核 中 的 需求 必定 
截然 不 同 。 


器 1 英 尺 =0.3048 米 。 





编辑 注 


24 结论 


正如 本 章 所 述 ， 虚 拟 空间 (虚拟 环境 、 虚 拟 世 界 ) 只 不 过 是 
不 虚幻 。 无 须 用 到 超 现 实 、 网 络 形态 、 以 计算 机 为 媒介 的 平行 宇 
文 将 对 本 章 中 包含 的 基本 概念 进行 详细 扩展 。 


实际 或 想象 中 的 物体 、 地 点 或 现象 的 3D 数 字 表现 ， 既 不 神秘 也 
宙 这 类 枯燥 而 混乱 的 术语 ， 以 准确 易 懂 的 语言 就 能 解释 清楚 。 后 


二 部 分 “理解 人 的 感官 与 其 输入 /输出 设备 的 天 系 


第 3 章 ”视觉 的 机 制 
第 4 章 “” 头 戴 式 显 示 装 置 的 组 成 技术 
第 5 章 ”增强 性 显示 装置 
第 6 章 ”完全 沉浸 式 显 示 装 置 


第 7 章 ”听觉 的 机 制 








































































































第 9 章 ”触觉 的 机 制 


























第 11 章 ”跟踪 位 置 、 方 向 和 运动 的 感应 器 
第 12 章 ”导航 和 交互 的 实现 装 
























































第 3 章 ”视觉 的 机 制 


人 了 眼 是 工程 学 上 的 一 个 奇迹 。 人 体 所 有 感官 的 受 体 有 70% 位 于 眼睛 。40% 的 大 脑 皮 层 被 认为 与 视觉 信息 处 理 的 某 些 方面 有 关 
联 。 为 充分 了 解 虚拟 和 增强 现实 背后 的 关键 技术 ， 有 必要 了 解 这 些 系统 所 涉及 的 主要 感官 机 制 。 本 章 我 们 将 探讨 人 眼 的 视觉 机 
制 ， 重 点 是 能 让 我 们 感知 现实 和 虚拟 世界 的 生理 过 程 。 


3.1 视 涡 通路 


一 切 从 光 开 始 。 光 是 人 类 视觉 刺激 的 关键 。 光 是 一 种 电磁 辐射 ， 可 以 刺激 视网膜 从 而 产生 视觉 。 光 在 空间 里 移动 ， 就 好 像 波 
纹 在 池塘 的 水 面 移动 一 样 。 在 科学 上 电磁 辐射 按 波长 〈 即 相 邻 两 个 波峰 之 间 的 距离 ) 分 类 。 电 磁 光 谱 的 整个 范围 包括 无 线 电波 、 
红外 线 、 可 见 光 、 紫 外 线 、X 光 和 伽 马 射线 。 如 图 3-1 所 示 ， 人 眼 仅 能 感 党 电磁 光谱 中 很 窒 的 一 段 ， 即 大 致 为 波长 380 纳 米 至 740 


纳米 的 区 间 。 一 纳米 (nm) 是 一 米 的 百 万 分 之 一 。 


需要 说 清楚 的 是 ， 电 磁 光 谱 的 上 述 各 个 区 间 之 间 并 没有 明确 的 界限 ， 相 邻 区 间 的 过 渡 是 渐进 式 的 ， 就 像 彩 虹 的 条 纹 一 样 。 仰 
马 射 线 的 波段 渐进 式 地 过 渡 到 X 光 波段 ，X 光 波段 又 渐进 式 地 过 渡 到 紫外 线 波段 ， 依 此 类 推 。 人 了 眼 可 以 感觉 到 的 最 长 波段 对 应 于 
我 们 看 到 的 红色 ， 而 最 短 的 波段 对 应 于 我 们 看 到 的 紫色 。 但 是 ， 以 上 光谱 并 没有 包括 健康 的 人 眼 所 能 区 分 的 所 有 颜色 。 比 如 ， 粉 
色 、 紫 红 和 绛 红 等 不 饱和 颜色 是 不 同 波长 的 混合 。 


在 现实 世界 中 ， 物 体 的 可 见 颜色 取决 于 其 吸收 或 反射 的 光 的 波长 。 只 有 反射 光 才 能 到 达 人 眼 ， 被 感觉 为 某 种 颜色 ， 即 所 谓 的 
光谱 反射 。 举 个 简单 的 例子 ， 一 般 植 物 的 叶子 反射 绿色 波段 ， 吸 收 红色 、 橙 色 、 蓝 色 和 紫色 。 
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图 3-1 本 图 显示 的 是 电磁 光谱 的 整个 区 间 ， 其 中 部 分 是 电磁 光谱 中 眼睛 的 视网膜 能 自然 感觉 的 部 分 


图 片 来 源 :， Peter Hermes Furian 在 Depositphotos.com 的 照片 
3.1.1 进入 眼睛 


人 有 眼 是 一 个 复杂 的 光学 感应 器 ， 但 如 果 知道 人 眼 与 照相 机 在 功能 上 类 似 就 比较 容易 理解 。 光 通过 照相 机 中 的 一 系列 光学 元 
件 ， 然 后 完成 折射 和 聚集 。 通 过 光圈 控制 穿 过 光圈 孔 的 光 的 数量 。 穿 过 光圈 孔 的 光 最 终 达到 成 像 平 面 。 如 图 3-2 所 示 ， 人 眼 执行 
相同 的 基本 功能 : 角膜 和 眼球 晶状体 执行 聚焦 功能 ， 而 虹膜 则 相当 于 相机 的 光圈 控制 装置 ， 仅 允许 适当 数量 的 光 穿 过 光圈 孔 。 与 
相机 不 同 的 是 ， 反 向 的 光 场 不 是 落 在 胶片 上 ， 而 是 落 在 极其 敏感 的 视网膜 上 。 
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图 3-2 ”本 图 显示 的 是 人 眼 的 纵 剖 面 图 ， 可 以 看 到 人 眼 的 主要 结构 和 腔 室 


图 片 来 源 : guniita 在 123RE.com 的 照片 


1. 角 腊 


来 自视 野 内 各 个 方向 的 光 最 先进 入 人 有 眼 的 角膜 。 角 膜 是 一 个 透明 的 球面 结构 ， 其 表面 由 组 织 良好 的 细胞 和 蛋白 质 组 成 。 人 眼 
对 光 的 折射 大 多 数 ( 约 80%) 在 空气 与 角膜 的 界面 处 完成 ， 这 是 因为 角膜 缴 面 各 个 点 的 折射 率 差 别 很 大 。 角 膜 后 面 是 另外 一 个 透 
明 结构 ， 称 为 眼球 晶状体 。 眼 球 晶状体 是 一 个 精确 的 聚集 结构 ， 因 为 其 形状 可 以 改变 ， 可 以 实现 光学 系统 所 需 的 不 同 有 效 焦距 
(Delamere，2005) 。 这 两 个 光学 结构 之 间 的 空间 称 为 前 房 。 前 房 充 满 了 由 睫 状 体 产生 的 透明 水 状 液体 ， 称 为 房 水 。 房 水 为 中 
间 角 膜 和 眼球 晶状体 提供 营养 〈 主 要 是 氨基 酸 和 葡萄糖) ， 因 为 这 两 个 光学 结构 自身 没有 血液 供应 。 角 膜 的 前 侧 通过 眼泪 获取 相 
同 的 营养 一 一 人 在 瞬 眼 时 眼泪 就 分 布 在 角膜 的 表面 。 


2. 瞳 孔 


光 穿 过 角膜 和 充满 水 状 物 的 前 房 后 ， 其 中 的 一 部 分 穿 过 虹膜 中 间 的 孔 一 一 虹膜 是 一 个 彩色 结构 。 这 个 孔 称 为 瞳孔 。 光 通过 
瞳孔 后 便 刺 激 视网膜 。 瞳 孔 看 起 来 是 黑色 ， 这 是 因为 穿 过 瞳孔 的 光大 多 数 被 眼睛 的 内 侧 吸收 ， 几 乎 没有 反射 光 。 


如 前 所 述 ， 瞳 孔 与 相机 的 光圈 孔 类 似 ， 其 尺寸 可 以 按 视觉 刺激 的 变化 而 变化 。 虹 膜 扩张 后 的 形态 如 图 3-3 所 示 。 在 光 比 较 少 
的 情况 下 ， 瞳 孔 扩大 以 让 更 多 的 光 进 入 。 在 明亮 的 环境 下 ， 瞳 孔 则 收缩 ， 尺 寸 变 小 。 这 个 不 由 自主 的 反应 称 为 瞳孔 反射 。 





虹膜 的 环 肌 收缩 导致 瞳孔 收缩 虹膜 的 辐 状 肌 收 编导 致 瞳孔 张 开 


图 3-3 ”瞳孔 与 相机 的 光圈 孔 类 似 ， 其 尺寸 可 以 随 着 视觉 刺激 和 焦距 的 变化 而 收缩 


图 片 来 源 : hfsimaging 在 123RE .com 的 照片 
3. 眼 球 晶状体 


光 穿 过 瞳孔 后 立即 进入 一 个 称 为 眼球 晶状体 的 光学 结构 。 有 眼球 晶 状 体 是 一 个 几乎 完全 透明 、 柔 性 的 结构 ， 由 同心 的 纤维 细胞 
结构 组 成 。 大 多 数 表层 纤维 代谢 活跃 ， 而 且 与 角膜 类 似 ， 眼 球 晶状体 从 环绕 其 周围 的 液体 获取 营养 。 


(1) 适应 性 调节 


眼球 晶状体 由 环绕 其 外 围 的 睫 状 肌 和 悬 韧带 固定 位 置 。 如 图 3-4 所 示 ， 当 眼睛 处 于 松弛 的 状态 ， 比 如 当 你 随意 晃 望 远方 时 ， 
眼球 晶状体 呈 平 直 状 态 ， 这 样 就 可 以 实现 远 距离 视 党 所 需 的 最 大 焦距 。 为 实现 这 个 形状 ， 环 绕 眼 球 晶状体 的 睫 状 肌 ( 像 所 有 的 辐 
状 肌 一 样 ) 由 收缩 状态 变 为 扩大 、 开 放 的 状态 。 此 时 ， 在 连接 睫 状 肌 和 眼球 晶状体 的 悬 韦 带 上 形成 向 外 的 张力 ， 从 而 使 眼球 晶 状 
体 呈 平 直 状态 。 当 眼睛 关注 的 是 近 距 离 的 物体 时 ， 则 以 上 过 程 相反 。 环 绕 眼球 晶状体 的 睫 状 肌 收 缩 ， 这 样 便 释放 悬 梓 带 的 张力 ， 
使 眼球 晶状体 处 于 自然 的 双 面 外 凸 的 更 接近 球状 的 形状 ， 从 而 增加 其 天 注 近 距离 物体 所 需 的 折光 力 。 这 个 变化 过 程 称 为 适应 性 调 
节 。 有 眼睛 正 是 通过 适应 性 调节 来 改变 其 光学 能 力 ， 使 得 观察 者 可 以 根据 视野 中 物体 的 远近 快速 变换 焦距 。 
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图 3-4 这 张 图 显示 的 是 适应 性 调节 的 过 程 ， 眼 睛 由 此 改变 其 光学 能 力 ， 使 得 观察 者 可 以 根据 不 同 物体 快速 变换 焦距 


图 片 来 源 : alila 在 123RE.com 的 照片 
普遍 认为 视网膜 模糊 是 适应 性 调节 的 刺激 源 ， 但 这 个 过 程 与 辐 转 也 有 很 大 的 关系 (Leigh and Zee，2015，524) ， 这 将 在 
本 章 稍 后 讨论 。 


这 个 特别 的 反射 作用 ， 虽 然 是 观察 现实 世界 时 的 完美 机 制 ， 但 在 使 用 大 多 数 现 有 的 三 维 显示 技术 时 会 给 我 们 造成 很 大 的 困 
扰 。 第 21 章 将 讨论 相关 内 容 。 其 中 的 一 个 挑战 是 : 三 维 显 示 装 置 是 将 图 像 呈 现在 二 维 的 表面 上 上。 因此， 焦距 调节 所 需 的 刺激 
源 ， 比 如 辐 连 和 视网膜 成 像 的 模糊 ， 是 显示 装置 表面 的 深度 变化 ， 而 不 是 所 展示 的 场景 的 深度 变化 。 另 外 ， 三 维 显示 装置 需要 将 
辐 连 和 调节 之 间 的 自然 看 合 断 开 ， 从 而 经 常 造成 整合 双眼 刺激 的 能 力 降低 ， 使 三 维 显示 装置 的 使 用 者 感到 不 舒服 或 疲劳 
(Lambooij 等 ，2009) 。 


有 趣 的 一 点 是 ， 眼 球 晶状体 在 大 约 40 岁 以 前 都 非常 具有 弹性 ，40 岁 以 后 便 逐 渐 形 失 其 弹性 。 因 外 围 结构 的 代谢 活动 而 变 得 
越 来 越 僵硬 ， 到 55 岁 左右 ， 睫 状 肌 的 收缩 不 再 能 改变 眼球 晶状体 的 形状 (Atchison，1995; Duane，1912) 。 


(2) 映像 反 向 


到 目前 为 止 ， 我 们 已 经 看 到 眼睛 拥有 一 个 复合 的 镜片 系统 。 光 进入 眼睛 时 穿 过 一 系列 介质 ， 先 是 穿 过 空气 ， 然 后 进入 密度 更 
高 的 介质 (角膜 ) 。 大 约 80% 的 折射 和 聚集 由 角膜 实现 ， 剩 余 的 20% 由 眼球 晶状体 实现 。 角 膜 是 结实 的 固定 镜片 结构 ， 而 眼球 晶 
状 体 则 是 可 变 的 、 双 面 呈 起 的 镜片 结构 。 按 凸透镜 的 折射 原理 ， 光 束 会 穿 过 位 于 另 一 侧 的 焦点 。 如 图 3-5 所 示 (虽然 比例 不 恰 
当 ) ， 进 入 眼睛 的 光 场 在 到 达 视 网 膜 之 前 在 光学 上 是 反 向 的 。 





图 3-5 因 了 眼球 晶状体 是 双 面 凸 起 的 ， 所 以 进入 眼睛 的 光 场 是 反 向 的 











到 片 来 源 : peterhermesfurian 在 123RE.com 的 照片 








4. 玻 璃 体 


光 在 穿 过 眼球 晶状体 后 进入 眼睛 的 前 房 ， 前 房 充 满 透 明 的 胶 状 物质 ， 称 为 房 水 。 光 可 以 很 容易 地 穿 过 房 水 ， 因 为 房 水 在 这 方 
面 有 完美 的 特性 ， 这 一 点 不 难 想象 。 房 水 由 98% 的 水 、 透 明 质 酸 (增加 黏稠 度 ) 、 网 状 的 纤细 胶原 纤维 ( 房 水 由 此 而 呈 胶 状 ) 以 
及 各 种 盐 和 糖 组 成 (Suri and Banerjee，2006) 。 房 水 基本 静止 ， 不 能 进行 主动 性 再 生 ， 也 不 能 通过 血管 补给 。 


3.1.2 ”映像 的 形成 与 探测 


本 章 到 目前 为 止 我 们 讨论 了 电磁 光谱 、 如 何 按 波长 进行 分 类 ， 以 及 人 眼 可 以 感觉 的 波长 进入 人 有 眼 后 如 何 转换 ， 现 在 我 们 要 讨 
论 如 何 实际 上 “看 见 ” 光 经 过 以 上 转换 后 的 状态 。 这 种 在 星光 和 阳光 环境 下 都 可 以 实现 的 转换 机 制 可 以 让 我 们 识别 物体 的 空间 位 
置 ， 让 我 们 感知 形状 、 尺 寸 、 颜 色 、 纹 理 ， 以 及 其 他 维度 的 信息 ， 这 样 我 们 就 可 以 理解 周围 的 事物 并 得 到 一 些 启示 。 


1. 视 网 膜 
视觉 过 程 始 于 眼睛 的 光学 结构 把 光 聚 集 在 视网膜 (英文 “retina” ， 源 于 拉丁 语 “rete” ， 意 思 是 网 络 ) 上 。 视 网 膜 是 一 个 
多 层 的 感官 组 织 ， 覆 盖 眼 睛 大 约 65% 的 内 表面 ， 其 功能 类 似 于 照相 机 的 胶片 (或 摄像 头 的 CMOS/CCD 图 像 传感器 ) 。 视 网 膜 的 


厚度 为 0.15 毫 米 至 0.320 毫 米 (Kolb 等 ，1995) 。 如 图 3-6 所 示 ， 靠 近视 网 膜 中 间 的 结构 称 为 斑 ， 斑 的 中 间 称 为 中 央 止 。 当 我 们 
注视 一 个 物体 时 ， 中 央 四 便 自 然 地 将 该 物体 置 于 中 心 位 置 。 中 央 止 是 视网膜 上 灵敏 度 最 高 的 点 。 有 眼睛 的 整个 复杂 的 上 层 结构 就 是 
为 实现 视网膜 的 功能 而 存在 的 (Hubel，1995) 。 

令 人 惊奇 的 是 视网膜 几乎 是 完全 透明 的 (Huang 等 ，1991; Slater 和 Usoh，1993; D'Amico，1994) 。 光 落 在 视网膜 
上 ,或 者 说 直接 穿 过 视网膜 ， 直 至 其 最 终 或 最 深 的 一 层 ， 这 一 层 称 为 色素 上 皮层 ， 如 图 3-7 所 示 。 此 时 图 像 反 射 回 至 直接 相 邻 的 
一 层 ， 这 一 层 上 有 感光 神经 元 。 


国 ” 中 央 思 无 血管 区 域 


图 3-6 ”这 张 图 片 显示 的 是 通过 检 目 镜 看 到 的 视网膜 形态 


图 片 来 源 ，Zyxwv99 在 Wikimedia 的 照片 ， 获 CC 2.0 许 可 
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图 3-7 人 了 上限 视 网 膜 的 横 截 面 图 ， 可 以 看 到 其 复杂 的 结构 


图 片 来 源 :， OpenStax College 在 Wikimedia 的 照片 ， 获 CC 3.0 许 可 





2. 视 杆 和 视 锥 


眼睛 感光 细胞 ， 因 其 形状 而 称 为 视 杆 和 视 锥 ,实际 上 是 背 朝 光 的 方向 。 视 杆 的 数量 较 多 ， 负 责 在 低 光 能 级 时 的 视觉 ， 是 非常 
灵敏 的 运动 探测 器 。 视 杆 主要 存在 于 视网膜 的 外 围 区 域 ， 负 责 边 界 视觉 。 视 锥 在 高 光 能 级 时 处 于 活路 状态， 空间 灵敏 度 很 高 ， 负 
责 感知 颜色 。 


从 色素 上 皮层 反射 的 光 与 两 种 光 色 素 发 生化 学 反应 : 视 锥 中 的 视 紫 蓝 质 (在 明亮 的 环境 下 反应 ) 和 视 杆 中 的 视 紫红 质 (在 昏 
暗 的 环境 下 反应 ) 。 这 个 化 学 反应 称 为 异 构 化 ， 其 结果 是 改变 了 感光 细胞 的 电 性 能 并 释放 神经 传送 体 (化 学 传送 体 /传送 体 物 
质 ) 。 这 些 神经 传送 体 刺 激 相 邻 的 神经 元 ， 从 而 使 神经 脉冲 在 细胞 间 以 接力 的 方式 传递 。 


按 实 际 测量 的 反应 曲线 ( 见 图 3-8) ， 单 个 视 锥 能 感知 以 下 三 种 光照 环境 之 一 : 红色 (数量 最 多 ) ， 在 波长 为 564 纳 米 时 最 
灵敏 ; 绿色 ， 在 波长 为 533 纳 米 时 最 灵敏 ; 蓝 色 ， 在 波长 为 437 纳 米 最 灵敏 。 视 杆 在 波长 为 498 纳 米 时 最 灵敏 (绿色 - 蓝 色 ) 
(FAA，2016) 。 


437 498 533 5064 
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图 3-8 这 张 图 显示 的 是 不 同 的 视 锥 (波长 437 纳 米 、533 纳 米 和 564 纳 米 ) 和 视 杆 (波长 498 纳 米 ) 的 反应 曲线 
图 片 来 源 : Pancrat 在 Wikimedia 的 照片 ， 获 CC 3.0 许 可 


来 自 于 视 杆 和 视 锥 的 脉冲 刺激 双 极 细胞 ， 后 者 又 相应 刺激 神经 节 细胞 。 这 些 脉冲 传 至 神经 节 细胞 的 轴 突 ， 通 过 视神经 和 视觉 
盲点 传 至 大 脑 的 视觉 中 心 。 


3. 视 杆 和 视 锥 的 密度 


每 个 视网膜 内 有 大 约 1 亿 至 1.2 亿 个 视 杆 感光 细胞 、7 干 万 至 8 干 万 个 视 锥 感光 细胞 (Riggs，1971) 。 如 图 3-9 所 示 ， 大 多 数 
视 锥 集聚 于 中 央 止 ， 而 视 杆 密集 于 其 他 区 域 (不 人 存在 于 中 央 目 ) 。 昌 然 一 般 白 天 的 光照 水 平 下 视觉 以 视 锥 的 作用 为 主导 ， 但 人 眼 
视网膜 中 的 视 杆 数量 要 远 远 多 于 视 锥 (Purves 等 ，2001) 。 
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图 3-9 从 这 张 图 可 以 了 解 为 什么 在 视线 的 直线 范围 内 我 们 对 颜色 的 视觉 〈 明 视觉 ) 最 。 中 央 凹 区 域 的 视 锥 最 多 ， 大 约 是 每 
平方 毫米 150000 个 视 锥 





图 片 来 源 ，Cmglee 在 Wikimedia 的 照片 ， 获 CC 3.0 许 可 


有 必要 指出 的 是 ， 视 觉 讶 点 区 域 (更 准确 地 说 是 视神经 头 ) 没有 感光 细胞 。 没 有 感光 细胞 意味 着 在 这 个 区 域 感受 不 到 光 ， 从 


而 使 每 只 眼睛 有 一 个 盲点 。 左 眼 的 视觉 盲点 位 于 视觉 中 心 的 左 方 ， 而 右 眼 的 情况 则 相反 。 双 有 眼 同时 睁 开 时 ， 我 们 感觉 不 到 视觉 
点 ， 因 为 两 个 眼睛 的 视野 部 分 重 二 但 是 仍然 可 以 感受 到 视 沉 讶 点。 按 图 3-10 图 题 部 分 的 提示 ， 你 可 以 找到 你 的 视觉 盲点 。 





图 3-10 可 以 按 下 述 方法 找到 每 只 眼睛 的 视觉 盲点 : 先 把 这 本 书 平 放 在 桌子 上 。 遮 住 你 的 右 眼 ， 然 后 注视 图 左边 的 点 。 同 时 保持 
对 上 图 右边 十 字形 的 视觉 ， 但 不 要 直 视 。 然 后 将 脸 慢 慢 靠 近 图 片 。 当 脸 与 图 片 的 距离 达到 某 个 点 ， 十 字形 消失 了 。 按 相反 的 方式 


重复 上 述 步 又 即 可 找到 右 眼 的 育 点 








妈 片 来 源 : S.Aukstakalnis 








3.2 ”空间 视 沉 和 深度 感知 线索 


按照 上 一 节 所 描述 的 视觉 过 程 ， 每 一 秒 钟 都 有 几 十 亿 个 信息 片段 传送 到 大 脑 皮 层 。 信 息 流 传送 的 过 程 是 信息 得 以 不 断 提炼 的 
过 程 ， 也 是 信息 的 组 织 复 杂 性 不 断 提高 的 过 程 。 在 这 个 过 程 的 每 个 阶段 ， 神 经 元 按 非常 具体 的 刺激 模式 组 织 起 来 ， 脉 冲 在 大 脑 皮 
层 的 目标 区 域 不 同 ， 则 其 内 容 和 刺激 源 也 不 同 。 理 论 上 ， 信 息 表现 的 性 质 (神经 脉冲 的 模式 ) 被 认为 是 从 模拟 性 向 象征 性 转变 

(Mather，2009) 。 


本 节 我 们 将 探究 各 种 具体 的 被 认为 能 使 大 脑 感觉 进入 眼睛 的 视觉 刺激 的 深度 触发 源 或 信息 线索 。 


3.2.1 ， 非 来 自 于 视网膜 的 信息 线索 


非 来 自 于 视网膜 的 深度 信息 线索 是 那些 不 是 由 进入 有 眼睛 并 弥漫 在 视网膜 上 的 光 图 案 形成 的 刺激 源 或 信息 片段 ， 而 是 来 自 于 其 
他 生理 过 程 。 本 节 我 们 主要 探究 这 些 信息 线索 中 最 主要 的 两 类 。 


1. 适 应 性 调节 


如 上 一 节 所 述 ， 当 人 有 眼 处 于 放松 的 状态 ， 比 如 当 你 随意 紫 望 远方 时 ， 眼 球 晶 状 体 呈 平 直 状态 ， 这 样 就 可 以 实现 远 距 离 视觉 所 
需 的 最 大 焦距 。 如 图 3-11 所 示 ， 当 眼睛 关注 的 是 近 距 离 的 物体 时 ， 则 以 上 过 程 相 反 。 环 绕 眼 球 晶状体 的 睫 状 有 收缩， 这样 便 释 
放 悬 韧带 的 张力 ， 使 眼球 晶状体 处 于 自然 的 双 面 外 凸 的 更 接近 球状 的 形状 ， 从 而 增加 其 关注 近 距 离 物 体 所 需 的 折光 力 。 


适应 性 调节 
松弛 状态 后 的 状态 
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图 3-11 适应 性 调节 是 观察 者 的 眼睛 改变 光 能 量 以 获得 清晰 的 图 像 或 在 不 同 的 焦 平 面 上 对 物体 聚焦 的 过 程 。 如 图 所 示 ， 睫 状 肌 的 
收缩 和 松弛 影响 眼球 晶状体 的 焦距 


图 片 来 源 : S.Aukstakalnis 


适应 性 调节 是 一 个 不 自觉 的 生理 过 程 ， 这 样 眼睛 的 镜片 结构 的 视觉 能 力 可 以 变化 以 聚焦 进入 眼睛 、 落 在 视网膜 上 的 光 。 普 遍 
认为 视网膜 模糊 是 适应 性 调节 的 刺激 源 ， 但 这 个 过 程 与 辐 转 也 有 很 大 的 关系 (Leigh and Zee，2015，524) 。 也 有 理论 研究 认 
为 是 睫 状 肌 本 身 的 运动 形成 了 这 种 信息 线索 (Helmholtz 等 ，1944) 。 


2. 辐 转 


最 强大 的 深度 信息 线索 是 眼睛 的 辐 转运 动 ， 即 双眼 的 中 央 凹 同时 指向 近 距 离 视野 中 的 物体 。 这 个 眼球 运动 功能 也 是 双眼 视觉 
的 基础 。 如 图 3-12 所 示 ， 这 个 过 程 意味 着 双眼 同时 绕 其 纵 轴 转 动 ， 但 方向 相反 。 转 动 的 角度 足以 使 注视 近 距 离 的 物体 时 所 投射 
的 图 像 与 双眼 视网膜 的 中 心 对 准 。 当 注视 近视 野 中 的 一 个 物体 时 ， 双 眼 以 相互 趋 近 的 方向 转动 ， 或 聚拢 。 当 注视 远视 野 中 的 一 个 
物体 时 ， 双 眼 以 相互 偏离 的 方向 转动 ， 或 分 开 。 
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在 远 处 | \ 





图 3-12 ” 辐 转 是 双眼 以 相反 的 方向 同时 运作 ， 以 获得 或 保持 双眼 视觉 

图 片 来 源 : Ginko 在 Depositphotos .com 的 照片 

双眼 以 相反 的 方向 转动 ， 称 为 非 结合 性 动作 。 实 际 上 眼睛 的 所 有 其 他 动作 都 是 一 起 的 ， 或 结合 性 的 。 

调节 和 辐 转 通常 是 相互 联系 的 生理 过 程 。 比 如 ， 将 眼睛 聚焦 在 远 处 的 某 个 东西 ， 然 后 将 你 的 注意 力 转移 到 近 处 的 某 个 物体 ， 
这 个 过 程 的 一 开始 你 的 双眼 相互 靠近 以 注视 近视 野 中 的 物体 。 此 时 在 视网膜 上 形成 的 图 像 看 起 来 更 大 ， 并 且 模 糊 (焦距 还 没 调整 
好 ) 。 这 个 模糊 的 图 像 于 是 触发 适应 性 调节 的 生理 反射 ， 从 而 使 得 眼球 晶状体 的 光 能 量 改变 ， 并 将 视网膜 上 的 图 像 的 焦距 调整 精 
确 。 

对 于 虚拟 和 增强 现实 的 发 烧 友 来 说 ， 理 解 辐 连 和 调节 过 程 非常 重要 。 平 板 型 头 戴 式 立 体 显示 装置 的 使 用 者 经 常 抱怨 头疼 或 眼 
睛 疲劳 ( 另 见 第 21 章 的 讨论 )。 这 种 副作用 是 因为 眼睛 必须 注视 在 平板 上 (显示 装置 的 平面 ) ， 而 平板 与 眼睛 只 有 几 英 寸 (1] 的 
距离 。 即 使 你 注意 到 看 起 来 处 于 虚拟 空间 不 同 焦 平面 的 物体 ， 并 为 此 深度 适应 和 调整 ， 但 毕竟 深度 仍然 是 模拟 出 来 的 。 呈 现在 眼 


前 的 图 像 是 绘制 在 二 维 的 显示 平面 上 ， 并 且 腿 睛 一 直 注 视 着 这 个 二 维 平面 。 也 就 是 说 眼睛 一 直 注 视 显 示 装 置 平面 上 的 近视 野 (可 
能 是 通过 收缩 眼睛 晶状体 边缘 的 睫 状 肌 实 现 的 ) ， 这 就 是 以 上 不 舒服 感 的 主要 原因 。 另 外 ， 辐 连 和 调节 提供 给 大 脑 的 视觉 线索 并 
不 相互 匹配 ， 或 者 说 没有 耦合 关系 。 


上 述 辐 转 线 索 还 有 一 个 方面 ， 就 是 在 六 块 眼 外 肌 内 形成 张力 〈 见 图 3-13) ， 眼 外 肌 控 制 眼睛 的 动作 (Jung 等 ，2010) 。 
3.2.2 ”双眼 视觉 信息 线索 


双眼 视觉 深度 信息 线索 是 那些 双眼 同时 观看 一 个 场景 时 所 探测 到 的 信息 源 或 信息 片段 ， 两 只 眼睛 是 从 各 自 稍微 不 同 的 有 利 位 
置 提 供 这 些 信息 线索 。 两 只 眼睛 所 看 到 的 场景 由 大 脑 进行 三 维 整 合 ， 这 样 便 可 以 理解 现实 或 虚拟 环境 。 


立体 视觉 


双眼 视觉 是 两 只 眼睛 的 视觉 。 双 眼 视 觉 的 主要 深度 信息 线索 称 为 立体 视觉 ， 是 视网膜 或 水 平 差异 性 的 结果 。 我 们 有 两 只 眼 
睛 ， 其 横向 的 平均 距离 为 约 2.5 英 寸 (63 毫 米 ) (Dodgson，2004) 。 两 只 眼睛 从 各 自 稍微 不 同 的 角度 捕捉 场景 。 如 图 3-14 所 
示 ， 立 体 视觉 是 通过 大 脑 对 两 只 眼睛 所 看 到 的 不 同 场景 根据 视网膜 影像 的 不 同 进行 补偿 、 建 构 而 获得 的 深度 感觉 。 


眼睛 肌肉 侧 视 图 


上 冬 肌 


上 下 肌 





侧 直 肌 


下 和 斜 肌 下 直 肌 


图 3-13 ”本 图 显示 的 是 六 块 眼 状 肌 ， 其 作用 是 控制 眼睛 的 动作 。 外 直 肌 和 内 直 肌 (在 另 一 侧 ， 图 中 未 显示 ) 是 控制 辐 转 的 主要 肌 
肉 


图 片 来 源 : alila 在 123RE.com 的 照片 





图 3-14 立体 视觉 是 两 只 眼睛 根据 视觉 信息 而 形成 的 深度 感觉 和 三 维 结构 





图 片 来 源 : S.Aukstakalnis 


据 研究 称 ， 在 双眼 视野 中 ， 一 侧 视网膜 上 的 点 在 另 一 侧 的 视网膜 上 也 有 一 个 对 应 的 点 (Howard 和 Rogers，2012，150) 。 
两 个 视网膜 上 的 点 相互 对 应 ， 与 观察 者 眼前 一 个 称 为 双眼 视界 的 区 域 有 关 ， 如 图 3-15 所 示 。 术 语 “horopter” (双眼 视界 ) 的 
意思 为 视觉 的 范围 ， 由 Francois d'Aguilon (比利时 数学 家 、 物 理学 家 和 建筑 设计 师 ) 于 1613 年 首创 。 这 个 术语 指 的 是 某 特定 
固定 距离 上 物体 的 点 在 相应 的 视网膜 结构 上 所 形成 影像 的 轨迹 。 因 此 ， 可 以 通过 物体 画 一 条 线 ， 而 这 条 线 上 所 有 的 点 在 两 个 视 网 
腊 上 都 有 相同 的 对 应 点 。 这 样 我 们 看 到 的 物体 就 是 一 个 单一 的 点 。 理 论 上 ， 双 了 眼 视界 是 这 样 一 个 轨迹 空间 : 其 中 每 一 个 点 的 成 像 
都 对 应 于 双眼 注视 的 一 个 点 (Howard 和 Rogers，2012，150) 。 
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图 3-15 ”这 张 图 解释 了 双眼 视界 的 概念 ， 双 眼 视界 是 与 注视 的 差异 性 对 应 的 点 在 空间 中 的 轨迹 。 从 理论 角度 来 说 ， 这 是 在 两 个 视 
网 膜 上 投射 出 在 解剖 学 上 相同 或 对 应 点 的 空间 中 的 所 有 点 。 注 意 点 R、P 和 Q 如 何在 两 个 视网膜 上 形成 相同 的 影像 

图 片 来 源 : Vlcekmi 3 在 Wikimedia 的 照片 ， 获 CC 3.0 许 可 

按照 这 个 模型 ， 如 果 对 应 的 点 至 视网膜 的 水 平 距 离 正常 ， 则 双眼 视界 是 分 别 经 过 两 只 眼睛 的 转动 中 心 和 注视 点 的 圆 。 因 此 ， 
当 注 视点 变 近 ， 则 这 个 圆 变 小 (Bhola，2006) 。 

从 图 3-16 所 示 的 两 张 相同 的 立体 图 可 以 了 解 由 双眼 差异 性 形成 立体 视 党 的 简单 概念 。 可 以 用 所 谓 的 斗鸡 眼 方法 观察 这 两 张 
印刷 品 的 立体 图 像 。 如 果 你 从 来 没有 尝试 过 ， 可 能 得 花 几 分 钟 时 间 才 能 掌握 ， 但 值得 一 试 。 其 方法 是 ， 先 把 这 本 书 放 在 你 面前 约 
2 英尺 向 处 ， 然 后 直 视 这 两 张 图 像 ， 然 后 慢 慢 地 交叉 你 的 眼睛 。 此 时 你 会 感觉 到 在 这 两 张 图片 中 间 还 有 第 三 张 图 片 。 调 整 你 双眼 
交叉 的 程度 ， 直 至 你 能 在 中 间 看 到 一 个 稳定 的 图 像 ， 此 时 你 会 看 到 宇航 员 漂 浮 在 月 球 表面 的 上 方 。 





图 3-16 ”这 一 对 三 维 图 像 的 立体 差异 性 有 力 地 表明 视觉 对 距离 的 感知 。 观 察 这 一 对 立体 图 片 的 方法 是 慢 慢 地 交叉 你 的 双眼 ， 并 斌 
图 形成 第 三 张 融 合 性 的 图 片 








图 片 来 源 : NASA 








顺便 说 一 下 ， 当 你 做 到 两 张 图 片 融合 并 能 感觉 深度 后 ， 慢 慢 地 把 你 的 头 向 左 、 右 摆动 。 这 两 张 图 片 便 会 垂直 分 离 ， 这 是 因为 
此 时 两 个 视网膜 上 的 成 像 发 生 位 置 移动 从 而 丧失 了 立体 视觉 。 


最 后 ， 本 章 之 前 已 介绍 过 ， 大 脑 视 皮 层 中 的 神经 元 可 以 帮助 产生 由 双眼 差异 性 形成 的 立体 视觉 。 


单眼 视觉 深度 信息 线索 是 由 视网膜 上 的 光 图 案 形 成 ， 但 不 需 双 眼 同时 起 作用 的 刺激 源 或 信息 系统 。 本 节 我 们 将 看 到 单眼 视觉 
言 息 线索 可 以 分 为 以 下 两 类 : 需要 光 图 案 在 视网膜 上 移动 的 信息 线索 ( 即 观 察 者 运动 ) 和 从 固定 的 观看 位 置 即 可 察 党 的 信息 线 
索 。 


运动 视差 即 观察 者 移动 时 会 发 现 近 处 的 物体 看 起 来 比 远 处 的 物体 移动 得 更 快 ， 这 是 一 种 强大 的 、 相 对 运动 的 信息 线索 
(Gibson 等 ，1959; Ono 等 ，1986) 。 图 3-17 示 意 的 就 是 这 种 现象 。 从 物理 学 的 角度 ， 形 成 这 种 视觉 现象 的 原因 是 图 像 在 眼睛 
视网膜 上 移动 的 速度 。 近 处 的 物体 相对 于 远 处 的 物体 进入 、 穿 过 和 退出 你 视野 的 速度 快 很 多 。 


这 种 视觉 信息 线索 提供 有 关 相 对 深度 差异 的 重要 信息 ， 可 以 可 靠 地 建构 三 维 场景 ， 帮 助 我 们 在 环境 中 航行 
(Helmholtz，1925) 。 图 像 在 视网膜 上 的 运动 形成 两 类 运动 边界 : 与 观察 者 运动 方向 平行 则 提供 穿越 性 的 信息 ; 与 观察 者 的 
运动 方向 垂直 则 提供 有 关 动 态 遮 蔽 的 信息 ， 即 近视 野 中 的 物体 动态 地 遮蔽 或 显露 远视 野 中 的 物体 (Yoonessi 和 
Baker，2013) 。 





图 3-17 运动 视差 即 当 你 在 移动 时 近 处 的 物体 相对 于 背景 环境 的 相对 速度 更 快 的 视觉 效果 


图 片 来 源 ，sergeiminsk 和 Ginko 在 123RF.com 的 照片 
2. 遮 蔽 


当 一 个 物体 阻挡 了 观察 者 对 另 一 个 物体 的 视线 时 ， 便 形成 遮蔽 〈 又 称 为 干涉 ) 信息 线索 。 此 时 观察 者 会 感觉 到 处 于 阻挡 位 置 


图 中 的 汽车 一 辆 一 辆 地 被 遮蔽 ， 由 此 我 们 可 以 很 明确 地 感觉 到 深度 。 遮 蔽 所 显示 的 是 相对 距离 (而 不 是 绝对 距离 ) 。 


最 近 的 研究 进一步 证 明了 这 种 信息 线索 在 立体 深度 感官 方面 可 能 很 重要 (Harris 和 Wilcox，2009) 。 有 些 研究 指出 遮蔽 信 
息 线 索 在 立体 深度 感官 方面 的 主要 功能 是 确定 深度 的 非 连续 性 以 及 阻挡 物 的 边界 (Anderson，1994; Gillam 和 
Borsting, 1988; Nakayama 和 Shimojo，1990) 。 


图 3-18 遮蔽 〈 或 干涉 ) 即 一 个 物体 部 分 阻挡 另 一 个 物体 的 视线 ， 是 一 种 简单 但 有 力 的 深度 信息 线索 








图 片 来 源 : joyful 在 Depositphotos .com 的 照片 


3. 删 除 和 增强 


遮蔽 现象 有 两 个 组 成 部 分 : 删除 (隐藏 ) 和 增强 (显露 ) ， 指 的 是 当 你 的 观察 点 移动 时 ， 近 视野 中 的 物体 或 表面 显露 或 遮蔽 
远视 野 中 的 物体 或 表面 。 在 现实 和 虚拟 的 环境 中 ， 如 果 近 视野 中 的 物体 或 表面 比 远视 野 中 的 物体 或 表面 相对 于 观察 者 的 距离 要 小 
很 多 ， 则 当 你 移动 时 远 处 物体 的 删除 或 增强 的 速度 会 更 快 ， 如 图 3-19 所 示 。 相 反 ， 如 果 两 个 物体 都 在 远视 野 中 且 相 互 之 间 的 距 
离 很 小 ， 则 删除 或 增强 的 速度 要 慢 一 些 。 


即使 不 明显 ， 无 论 观察 者 往 任何 方向 移动 ， 删 除 和 增强 现象 都 会 发 生 。 





移动 





图 3-19 人 类 的 视觉 系统 可 以 感知 深度 ， 即 使 唯一 有 用 的 视觉 结构 信息 来 自 于 运动 


图 片 来 源 : S.Aukstakalnis 
在 设计 虚拟 环境 模拟 时 记 住 这 种 信息 线索 非常 重要 。 在 特定 的 环境 下 ， 可 以 通过 这 些 信息 线索 产生 各 种 有 趣 的 效果 。 
4. 线 性 透视 


线性 透视 线条 会 聚集 在 远 处 的 某 个 单一 的 点 ， 是 一 种 单眼 视觉 信息 线索 (Khatoon，2011，98) 。 如 图 3-20 所 示 ， 当 注视 
某 处 走廊 的 照片 时 ， 我 们 知道 图 中 的 墙壁 间 的 距离 并 不 会 越 来 越 小 ， 而 是 始终 保持 平行 的 。 
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图 3-20 ”线性 透视 即 平行 线条 间 的 距离 越 来 越 小 ， 看 起 来 越 来 越 靠近 ， 这 是 一 种 深度 信息 。 线 条 的 距离 越 近 ， 则 看 起 来 越 远 





图 片 来 源 : Warren R.M.Stuart 的 Flickr 相 册 ， 获 CC 2.0 许 可 














5. 动 态 深度 效应 ( 源 于 运动 的 视觉 结构 ) 


动态 深度 效应 是 由 物体 的 运动 形成 的 对 物体 的 复杂 三 维 结构 的 感知 。 没 有 移动 介质 很 难 解释 或 展示 ， 但 你 可 以 想象 一 个 悬空 
在 光 和 墙壁 之 间 的 立方 体 。 如 果 静 止 不 动 ， 那 么 这 个 立方 体 的 轮廓 看 起 来 可 能 像 是 图 3-21 中 的 任何 一 个 。 即 使 是 图 左上 方 的 四 
方形 从 感官 上 来 看 也 只 是 一 个 四 方形 。 但 当 逐 个 观察 其 余 的 图 形 ， 大 多 数 观察 者 很 快 就 会 感觉 到 这 些 轮廓 图 是 源 于 一 个 立方 体 ， 
即使 没有 其 他 深度 信息 或 表面 细节 。 


有 关 这 个 现象 的 研究 文献 最 早 发 表 于 20 世 纪 50 年 代 ， 基 于 研究 人 员 Hans Wallach 和 D.N.O'Connell 所 进行 的 实验 
(Wallach 和 O'Connell，1953) 。 之 后 对 此 进行 了 广泛 的 研究 ， 有 关 如 何 感知 三 维 形状 主要 有 两 个 理论 。 第 一 个 理论 认为 三 维 
形状 感知 是 因为 物体 移动 时 视网膜 上 所 模拟 生成 的 图 像 会 变化 ， 第 二 个 理论 认为 是 与 之 前 的 经 验 有 关 。 在 大 多 数 情况 下 ， 动 态 深 
度 效应 是 与 其 他 深度 信息 线索 一 同感 知 ， 比 如 上 述 运动 视差 。 


图 3-21 动态 深度 效应 表明 可 以 从 移动 的 二 维 视觉 图 形 感知 三 维 结构 











妈 片 来 源 : S.Aukstakalnis 





正如 这 种 信息 线索 的 名 字 所 示 ， 如 果 知 道 远 处 某 个 物体 的 大 小 ， 我 们 的 大 脑 能 根据 这 方面 的 理解 估 测 绝对 距离 ， 如 图 3-22 
所 示 。 有 些 研 究 认 为 ， 这 一 点 可 以 重新 定性 为 我 们 对 身体 的 尺寸 和 物体 的 尺寸 的 相对 关系 的 意识 ， 因 为 理解 一 个 物体 的 尺寸 必须 
以 某 个 相对 尺寸 为 基础 ， 那 么 身体 是 我 们 所 拥有 的 、 可 以 用 来 作为 比较 的 相对 尺寸 (Linkenauger 等 ，2013) 。 
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图 3-22 ”尺寸 经 验 信息 线索 是 利用 观察 者 有 关 被 观察 物体 的 知识 ， 以 帮助 估 测 绝对 距离 


图 片 来 源 : Anoldent 的 Flickr 相 册 ， 获 CC 2.0 许 可 





7. 相 对 尺寸 


如 图 3-23 所 示 ， 如 果 两 个 物体 的 尺寸 相仿 ， 但 因为 相对 于 观察 者 的 距离 不 同 而 看 起 来 尺寸 不 一 样 ， 我 们 便 能 感知 在 视网膜 
上 成 像 比 较 小 的 距离 较 远 ， 而 成 像 较 大 的 则 距离 较 近 。 这 种 深度 信息 线索 主要 是 基于 个 人 经 验 。 





图 3-23 ”如 果 两 个 物体 的 尺寸 相同 ， 但 与 观察 者 的 距离 不 一 样 ， 则 较 远 者 在 视网膜 上 所 占据 的 面积 要 小 。 如 果 视 网 膜 上 的 成 像 较 
大 ， 则 看 起 来 更 近 


图 片 来 源 : S.Aukstakalnis 
8. 立 体 透 视 


立体 透视 (又 称 为 空气 透视 ) 指 光 因 远 处 物体 或 场景 与 观察 者 之 间 的 空气 中 有 颗粒 物 (比如 水 蒸气 和 烟尘 ) 而 发 生 散 射 的 效 
应 。 如 图 3-24 所 示 ， 距 离 越 远 ， 则 物体 或 场景 与 其 背景 之 间 的 对 比 度 越 小 。 物 体 上 的 标识 和 细节 也 是 如 此 。 如 照片 中 所 示 ， 远 
处 的 山 变 得 越 来 越 不 饱和 和 ， 并 逐渐 过 渡 到 背景 颜色 。 列 奥 纳 多 : 达 - 芬 奇 将 这 种 信息 线索 称 为 “消失 之 透视 ”。 





图 3-24 ”从 这 张 照片 可 以 看 到 随 着 相对 于 观察 者 的 距离 的 增加 ， 顾 色 饱 和 度 、 对 比 度 和 细节 越 来 越 小 ( 少 ) 


图 片 来 源 : WSilver 的 Flickr 相 册 ， 获 CC 2.0 许 可 

有 这 种 空气 效应 是 因为 可 见 的 蓝 色 光 的 波长 很 短 ， 大 约 是 475 纳 米 。 因 此 ， 空 气 中 的 颗粒 物 对 蓝 色 光 的 散射 效应 更 大 ， 这 也 
就 是 天 空 通常 看 起 来 是 蓝 色 的 原因 。 在 日 出 或 日 落 时 ,， 检 色 (590 纳 米 ) 和 红色 (650 纳 米 ) 是 主导 的 颜色 ， 因 为 相关 的 波长 比 
较 长 ， 在 空气 中 散射 较 小 。 


9. 纹 理 递 变 


纹理 递 变 是 指 物体 的 纹理 和 图 案 随 着 相对 于 观察 者 的 距离 增加 看 起 来 发 生 逐 渐变 化 ， 即 从 粗大 变 得 细小 (或 变 得 越 来 越 不 清 


楚 ) 。 如 图 3-25 所 示 ， 凸 叫 有 致 的 牲 孵 石 随 着 相对 于 观察 者 的 距离 增加 变 得 
面 。 


越 来 越 不 清晰 ， 直 至 变 得 看 起 来 像 是 一 个 连续 的 平 
这 种 信息 线索 有 以 下 三 个 特点 (Mather，2006) 。 


透视 逐渐 过 渡 一 随 着 

















E 离 增加 ， 与 倾 面 或 观察 角度 垂直 的 单个 纹理 图 
过 渡 一 随 着 距离 增加 ， 纹 理 图 案 的 视觉 高 度 变 得 越 来 越 小 。 
:密度 逐渐 过 渡 一 随 着 距离 增加 ， 视 觉 单位 面积 的 纹理 图 案 数 变 得 越 来 越 大 。 


























案 间 的 分 割 度 变 得 越 来 越 小 。 















































照明 、 影 线 和 阴影 是 感知 场景 深度 和 物体 几何 尺寸 的 有 力 信息 线索 ， 其 效果 的 变化 范围 很 大 。 阴 影 的 角度 和 对 比 度 影响 所 感 
知 的 深度 。 一 个 物体 因 另 一 个 物体 而 形成 的 阴影 和 反射 可 提供 关于 距离 和 位 置 的 信息 。 如 果 一 个 物体 的 阴影 较 小 、 较 清晰 ， 则 一 
般 表明 该 物体 至 阴影 投影 所 在 会 物体 或 平面 的 距离 较 小 。 类 似 地 ， 如 果 增 大 阴影 面积 并 使 阴影 的 轮廓 边缘 模糊 ， 在 视觉 上 会 感觉 


深度 更 大 。 光 与 非 平整 表面 的 交互 方式 可 在 很 大 程度 上 显示 其 几何 尺寸 和 纹理 的 信息 。 图 3-26 显 示 了 这 方面 的 几 种 不 同 效果 。 


妃 NI 
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图 3-25 ”这 张 照片 很 好 地 展示 了 纹理 渐变 效应 ， 随 着 相对 于 观察 者 的 距离 的 增加 ， 物 体 的 纹理 图 案 的 视觉 效果 逐渐 发 生变 化 ， 即 


从 粗大 变 得 细小 
图 片 来 源 ，Jeremy Keith 的 Flickr 相 册 ， 获 CC 2.0 计 
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图 3-26 ”这 张 照 片 可 以 直观 地 说 明 影 线 和 阴影 可 以 显著 影响 对 封闭 空间 的 深度 感知 





图 片 来 源 : Julian Herzog 在 Wikimedia 的 照片 ， 获 CC 4.0 许 可 


11. 视 像 扩 大 
将 你 的 手臂 平 直 伸 出 ， 手 掌 向 上 ， 然 后 将 你 的 手 慢 慢 向 脸 移 动 。 当 你 的 手 越 来 越 靠 近 ， 投 射 于 你 的 视网膜 上 的 图 像 相 应 变 得 


越 来 越 大 、 遮 蔽 的 背景 也 越 来 越 多 。 这 种 视觉 信息 线索 称 为 视 像 扩 大 ， 这 不仅 可 以 帮助 观察 者 感觉 物体 的 移动 ， 还 有 助 于 观察 者 
感觉 距离 (lttelson，1951) 。 人 在 很 小 的 年 纪 便 开始 形成 这 种 对 动态 刺激 源 的 感知 ， 比 如 ， 我 们 可 以 观察 到 婴儿 在 一 个 物体 直 
接 向 其 移动 时 会 表现 出 协调 一 致 的 防御 性 反应 (Bower et al.，1970) 。 图 3-27 是 用 静止 画面 表示 这 种 视觉 信息 线索 的 效果 。 不 
仅 距 离 越 小 物体 看 起 来 越 大 ， 而 且 背 景 信息 线索 越 来 越 少 ， 直 至 消失 。 





图 3-27” 视 像 扩 大 的 视觉 效果 即 当 物体 向 我 们 移动 时 其 视网膜 成 像 变 得 越 来 越 大 ， 遮 项 的 背景 越 来 越 多 


图 片 来 源 : S.Aukstakalnis 
12. 相 对 高 度 


在 一 般 的 视 党 条 件 下 ， 对 于 处 在 同一 平面 的 不 同 物体 ， 处 于 近视 野 者 的 视网膜 成 像 位 于 视网膜 的 下 部 区 域 ， 而 处 于 远视 野 者 
的 视网膜 成 像 位 于 视网膜 的 上 部 区 域 。 这 种 现象 可 以 通过 图 3-28 所 示 的 简单 例子 来 解释 。 其 中 的 关键 是 你 的 高 度 相对 于 视野 中 
的 物体 的 高 度 。 相 反 ， 如 果 是 位 于 你 的 视点 上 方 的 同一 平面 上 的 不 同 被 观察 物 ， 比 如 天 人 花 板 上 的 一 排 灯笼 ， 近 处 的 物体 位 于 视 网 
膜 的 下 部 区 域 ， 远 处 的 物体 则 处 于 上 部 区 域 。 很 多 个 世纪 以 前 艺术 家 就 开始 采用 这 种 技术 在 二 维 的 图 纸 和 绘画 上 描绘 深度 。 











图 3-28 ”相对 高 度 的 概念 即 远 处 的 物体 相对 于 近 处 的 物体 看 起 来 更 小 、 更 高 ， 或 利用 这 种 视觉 现象 描绘 处 于 不 同 观察 距离 的 物体 





到 片 来 源 : Naomi /Mitch Altman 的 Flickr 相 册 ， 获 CC 2.0 许 可 














[1 英寸 二 0.0254 米 。 一 一 编辑 注 


D] 1 英尺 三 0.3048 米 。 一 一 编辑 注 


3.3 ”结论 


通过 本 章 的 讨论 我 们 了 解 到 人 的 视觉 系统 是 一 套 卓越 的 感官 机 制 ， 能 够 对 周围 的 环境 进行 大 范围 的 动态 解释 。 本 章 探讨 的 人 
眼 的 很 多 能 力 都 与 本 书 的 主题 直接 相关 。 比 如 ， 辐 转 和 调节 过 程 对 于 设计 完全 沉浸 式 以 及 增强 型 头 戴 式 显 示 装 置 有 直接 意义 。 理 
解 视觉 系统 用 于 感知 深度 的 各 种 信息 线索 对 我 们 实际 设计 虚拟 环境 有 很 大 的 帮助 。 


在 本 书 的 后 续 部 分 我 们 会 不 时 地 引用 本 章 的 有 关内 容 ， 那 时 我 们 便 会 理解 为 什么 有 必要 了 解 主 要 视觉 机 制 及 其 功能 机 制 。 我 
们 鼓励 虚拟 和 增强 现实 的 爱好 者 和 从 业 人 员 在 掌握 本 章 内 容 之 后 进一步 充实 这 个 领域 的 知识 ， 比 如 深入 研读 本 书 附 录 A 中 所 列 的 
论文 和 其 他 资源 。 


第 4 章 “” 头 戴 式 显示 妆 置 的 组 成 技术 


虚拟 和 增强 现实 的 头 戴 式 显 示 装 置 形 式 多 样 ， 既 有 单眼 的 显示 装置 ， 也 有 像 HTC 公 司 的 Vive 和 Oculus 公 司 的 Rift 那 样 的 全 遮 
蔽 型 头 戴 式 装置 。 不 论 是 哪 一 种 ， 其 核心 的 组 件 有 两 个 : 图 像 显示 装置 和 视 沉 装置。 本章 我 们 将 探讨 这 个 领域 产品 实现 的 主要 技 
术 ， 并 逐一 确认 各 解决 方案 的 优点 和 局 限 性 。 


4.1 显示 装置 的 基础 知识 


用 于 虚拟 和 增强 现实 的 所 有 头 戴 式 显 示 装 置 包 含 的 基本 子 系统 都 相同 ， 但 是 在 尺寸 和 配置 上 差别 很 大 。 最 简单 的 头 戴 式 显示 
装置 也 得 包括 成 像 源 和 视觉 装置 (Melzer，1997) 。 根 据 显示 装置 的 具体 设计 和 预期 用 途 ， 可 在 此 基础 上 扩展 以 实现 其 他 不 同 
的 特性 和 功能 ， 比 如 增加 次 级 视觉 显示 通道 和 跟踪 注视 方向 及 时 长 的 感应 器 等 。 头 戴 式 显示 装置 的 设计 在 形状 和 尺寸 上 各 不 相 


本 章 的 重点 是 构建 有 关 这 些 基 本 的 子 系统 的 技术 性 能 的 基础 概念 。 为 此 ， 我 们 先 对 基本 的 显示 装置 进行 分 类 ， 然 后 评估 最 常 
见 的 图 像 显示 装置 和 视觉 系统 。 


头 戴 式 显示 装置 可 按 单眼 /双眼 视觉 ， 或 设计 规格 是 按 单眼 还 是 双眼 视 党 分 类 。 从 这 个 维度 来 看 可 分 为 以 下 三 类 : 单眼 式 、 
双眼 式 和 双眼 双 视 觉 通 道 式 。 从 图 4-1 的 示意 图 可 以 了 解 其 差别 。 


单眼 式 双眼 式 / 双眼 双 视 党 通道 式 





图 4-1 所 有 的 头 戴 式 显示 装置 都 可 从 视觉 和 显示 配置 的 维度 归 类 为 以 下 三 类 之 一 : 单眼 式 、 双 眼 式 和 双眼 双 视 觉 通 道 式 。 这 是 
按 显 示 装 置 的 单眼 /双眼 视觉 模式 进行 的 分 类 


图 片 来 源 : S.Aukstakalnis 
1. 单 眼 式 


单眼 式 显示 装置 通过 一 只 眼睛 前 面 的 显示 和 视觉 装置 (一般 尺寸 较 小 ) 提供 一 个 单一 的 视觉 通道 ， 另 一 只 眼睛 可 以 自由 地 观 
察 正常 的 现实 世界 。 单 眼 式 显示 装置 一 般 尺 寸 较 小 ， 用 于 展示 信息 。 军 事 航 空 用 的 仪器 和 装置 即 属 此 类 ， 比 如 ，Google Glass 
或 Vuzix M-100 系 列 Smart Glass ( 详 见 第 5 章 ) 。 


2. 双 眼 式 


双眼 式 显 示 装 置 为 两 只 眼睛 提供 一 个 视觉 通道 。 这 种 显示 装置 最 常见 的 是 头 戴 式 电影 观看 装置 以 及 需要 实 境 式 体验 的 场合 。 
这 种 显示 装置 没有 立体 视觉 。 这 种 类 型 的 应 用 场合 一 般 是 近 距 离 作 业 。 比 如 ， 弧 焊 培 训 系统 所 用 的 装置 ( 详 见 第 18 章 ) 。 


3. 双 眼 双 视觉 通道 式 


第 三 类 显示 装置 是 双眼 双 视觉 通道 式 ， 即 每 只 眼睛 都 有 单独 的 视觉 通道 ， 但 各 自 的 视点 稍 有 不 同 ， 这 是 模仿 人 的 视觉 系统 并 
形成 立体 视觉 效果 的 装置 。 


表 4-1 总 结 了 这 三 类 不 同 的 显示 装置 的 主要 优点 和 缺点 。 


表 4-1 显示 装置 按 视觉 方式 的 分 类 及 各 自 的 优 缺点 










视觉 方式 缺 点 
量 轻 、 外 形 小 、 最 不 分 散 注 意 力 、 最 | 可 能 产生 双眼 视觉 冲突 、 主 视 眼 问题 、 视 最 
单眼 式 容易 整合 、 计 算 最 少 的 头 戴 式 、 最 容易 | 小 、 无 立体 视觉 的 深度 信息 线索 、 不 均衡 的 批 
调 校 量 加 载 、 物 体 的 对 比 度 较 变 小 、 无 实 境 式 体 验 
比 双 眼 双 通道 式 稍 轻 、 没 有 视觉 上 的 冲 a | 
at bi np 卫 重量 较 大 、 视 野 和 外 围 信 息 线 索 有 限 、 无 立 
双眼 式 突 、 适 用 于 需要 实 境 式 体 验 、 均 衡 批 量 加 sea 


人 体 视觉 深度 信息 、 通 常 镜片 较 大 而 不 容易 适应 
载 的 近 上 距离 培训 作业 tI , : ae 


ee 7 体 图 像 、 双 眼 视野 重 释 视野 更 大 、 深 | 重量 最 大 、 最 复杂 、 成 本 最 高 、 需 要 精确 调 
双眼 双 视觉 通道 式 立体 | 本 重 检视 习 更 大 、 闪 en iio 或 本 最 高 、 需 要 精确 调 
度 信息 线索 最 多 、 实 境 体验 交 、 需 要 楷 复 的 运算 





4.1.2” 显示 装置 的 类 型 


按 视 沉 模 式 的 概念 ， 头 戴 显 示 装 置 可 以 分 为 三 大 类 。 第 一 类 是 通过 电脑 再 现 真 实 视觉 环境 ， 而 第 二 类 和 第 三 类 是 生成 增强 型 
的 真实 视觉 环境 。 


1. 完 全 沉浸 式 
完全 沉浸 式 显 示 装 置 是 完全 遮蔽 外 部 世界 的 视觉 。 完 全 沉浸 式 立 体感 头 戴 式 显示 装置 ( 即 传统 的 虚拟 现实 ) 与 感应 器 相 结合 
以 跟踪 使 用 者 头 部 的 位 置 和 方向 ， 从 而 在 电脑 生成 的 环境 中 形成 身 临 其 境 式 的 视觉 效果 。 


2. 视 频 透视 式 


视频 透视 式 显示 装置 无 一 例外 都 以 完全 沉浸 式 作 为 基准 设计 ， 两 者 的 主要 差别 在 于 显示 装置 中 所 显示 的 影像 主要 来 自 于 前 置 
式 的 摄像 头 还 是 安装 于 远程 的 摄像 头 (远程 监控 ) 。 根 据 具 体 的 设计 用 途 ， 视 频 信 号 可 以 与 电脑 生成 的 影像 和 其 他 感应 装置 的 输 
出 相 结合 。 例 如 ， 第 17 章 所 介绍 的 案例 研究 中 ， 我 们 会 了 解 飞 行 员 通 过 视频 透视 式 显 示 装 置 实现 空中 加 油 ， 即 飞行员 用 这 种 显 
示 装 置 时 可 以 看 到 一 架 虚拟 的 运 油 机 在 飞机 外 飞行 。 


实现 增强 现实 的 关键 技术 。 这 类 系统 的 设计 用 途 是 将 使 用 者 通过 视觉 装置 获得 的 现实 世界 视觉 与 图 
合 ， 或 进行 整 饰 、 补 充 。 


4.1.3 ”成 像 和 显示 技术 


虚拟 和 增强 现实 系统 的 头 戴 式 显示 装置 所 运用 的 成 像 与 显示 技术 在 过 去 的 20 年 内 实现 了 重大 进步 。 在 显示 技术 领域 ， 阴 极 
射线 管 式 显 示 器 (CRT) 曾 一 度 主导 高 端 市 场 ， 但 目前 已 完全 被 四 种 新 的 成 像 和 显示 技术 蔡 代 ， 而 且 每 一 种 技术 较 过 去 的 技术 都 
有 极 大 的 改善 、 重 量 更 轻 ， 而 且 运 用 更 方便 。 在 接 下 来 的 几 节 我 们 将 探讨 每 类 显示 装置 的 功能 ， 重 点 介绍 其 优点 以 及 根据 每 种 运 
用 环境 进行 的 权衡 调整 。 


1. 液 晶 显示 平板 


液晶 显示 (LCD) 是 相对 较 成 熟 的 技术 ， 一 开始 主要 用 于 虚拟 和 增强 现实 的 近 距 离 显示 ， 早 在 20 世 纪 80 年 


开始 运用 。LCD 现 用 于 很 多 高 清 电 视 、 台 式 电脑 、 笔 记 本 电脑 的 显示 器 以 及 平板 电脑 和 手机 的 显示 装置 中 。 
的 玻璃 板 上 印刷 了 数 百 万 个 位 置 精确 的 小 晶体 管 


代 ，NASA (Fisher 等 ，1986) 、 北 卡罗来纳 大 学 (Chung 等 ，1989) 等 组 织 以 及 VPL Research (Conn 等 ，1989) 等 公司 就 


玻璃 板 
傅 振 给 
傅 振 此 


如 图 4-2 所 示 ，LCD 是 一 种 电子 调 质 透 射 性 显示 装置 ， 由 两 层 极 化 的 材料 组 成 ， 这 两 层 材料 的 轴线 相互 垂直 。 在 两 层 极 化 的 
板材 之 间 是 蜂窝 状 结构 ， 这 些 “ 蜂 高 ”横竖 排列 有 序 ，“ 蜂 高 ”内 是 液晶 分 子 。 这 些 “ 蜂 窜 ” 的 两 端 用 注 玻 璃 板 密封 。 其 中 一 侧 


间 变 化 。 改 变 穿 过 液晶 材料 的 电流 让 每 个 阵列 的 “蜂窝 ” 变 成 快门 ， 可 以 调节 光 的 穿行 。 


ON WW ss WW BY 


8 隔离 物 
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彩色 (RGB ) 遮蔽 层 
命令 行 


注 腊 晶体管 
10 ”前 电极 
11 后 电极 
命令 行 
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图 片 来 源 : Lozere 在 Wikimedia 的 照片 


图 4-2 ”这 张 图 显示 的 是 主动 式 液 蝇 显 示 的 具体 复杂 结构 。 注 意 光 是 来 自 于 外 部 光源 
口 


对 于 彩色 LCD， 在 现 有 的 层 式 结构 上 还 得 加 上 一 层 红 、 绿 、 蓝 色 的 滤 光 器 或 遮光 器 ， 而 且 每 个 滤 光 器 相对 于 每 个 “ 蜂 宛 ”的 
点 ， 即 背光 的 颜色 。 这 一 点 稍 后 再 解释 。 


位 置 都 必须 精确 。 三 个 RGB 液晶 “蜂窝 ”形成 一 个 像素 ， 所 以 单个 “ 蜂 寅 ”又 称 为 亚 像素 。 施 加 电流 时 ， 每 个 “蜂窝 ”根据 信号 


的 强 弱 调节 光 的 穿行 。 每 三 个 亚 像素 的 输出 相 结合 便 形 成 观察 者 所 看 到 的 光 的 颜色 。 如 果 三 个 亚 像素 都 完全 开放 ， 则 形成 一 个 白 


电流 穿 过 每 个 “ 蜂 离 ”内 的 液晶 都 会 使 晶体 在 整齐 排列 和 不 整齐 排列 两 种 状态 


7 磨 光 聚合 物 层 


因为 液晶 材料 自身 不 能 发 射 光 ， 所 以 必须 通过 单独 的 光源 供 光 。 虽 然 小 型 的 LCD (比如 手表 上 的 LCD) 通常 是 用 反射 的 环境 
光 ， 现 在 的 彩色 LCD 平 板 ( 比 如 有 些 头 戴 式 显 示 装 置 的 显示 装置 ) 一 般 是 通过 显示 平板 周边 的 蓝 色 LED 提 供 照 明 ， 蓝 色 LED 的 光 
经 过 黄色 的 磷 光 体 过 滤 ， 然 后 通过 散射 体 散布 ， 从 而 产生 人 造 白色 光 。 这 个 白色 光 然 后 又 由 液晶 结构 的 颜色 遮蔽 层 过 滤 成 不 同 的 
颜色 。 


2. 有 机 发 光 二 极 管 显示 平板 


有 机 发 光 二 极 管 (OLED) 是 固态 显示 技术 ， 是 基于 施加 电流 时 会 发 光 的 有 机 材料 ( 碳 氢 化 合 物 ) 。 如 图 4-3 所 示 ，OLED 的 
基层 是 玻璃 材料 ， 然 后 走 加 一 系列 的 有 机 胶片 和 正 、 负 极 层 (金属 阴极 和 透明 阳极 ) 。 电 流通 过 负极 (导体) 和 阳极 (发 射 体 ) 
之 间 的 有 机 材料 时 ， 电 子 从 导电 材料 层 向 发 射 材料 层 移动 。 电 子 从 导电 材料 层 移 出 时 形成 “ 空 人 六 。， 需 要 由 其 他 电子 填充 。 随 着 
空 六 向 发 射 材料 层 移动 并 重新 与 电子 结合 (这 种 结合 状态 称 为 激 子 ) ， 能 量 以 光 的 形式 释放 ， 这 个 过 程 称 为 电 臻 发光。 虽然 可 以 
通过 周密 布置 OLED 中 所 用 的 有 机 发 射 材料 而 控制 颜色 ， 大 多 数 制 造 商都 是 在 OLED 的 层 状 结构 中 加 一 层 红 、 绿 和 蓝 色 的 塑胶 材 
料 实现 颜色 控制 。 
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图 4-3 ”这 张 图 显示 的 是 有 机 发 光 二 极 管 (OLELD) 显示 平板 的 基本 结构 
图 片 来 源 : S.Aukstakalnis 
OLED 显示 装置 主要 有 两 类 : 被 动 矩阵 OLED (PMOLED) 和 主动 矩阵 OLED (AMOLED) 。 两 者 的 区 别 在 于 电子 驱动 结 
构 。PMOLED 显 示 装 置 采 用 复杂 的 电子 网 格 结构 顺序 控制 每 行 的 单个 像素 ， 没 有 储 能 电容 器 。 因 此 ， 其 更 新 速度 慢 ， 维 护 像 素 
状态 的 能 耗 较 高 。PMOLED 一 般 用 于 简单 的 字符 或 图 标 显示 。 
最 适合 虚拟 和 增强 现实 的 近 距 离 显示 的 是 AMOLED， 其 基本 设计 结构 见 图 4-4。 与 主动 矩阵 LCD 类 似 ，AMOLED 通 过 落 膜 
晶体 管 (TFT) 层 驱动 ， 这 个 结构 层 也 有 储 能 电容 器 以 维持 每 个 亚 像素 的 状态 。 这 样 就 可 以 实现 对 单个 像素 很 高 水 平 的 控制 ， 而 


且 能 完全 关闭 像素 以 实现 深 黑 色 和 高 对 比 度 。 


AMOLED 在 很 多 方面 都 比 LCD 要 好 。 相 对 于 LCD 而 言 ，AMOLED 有 以 下 方面 的 优势 : 可 以 做 得 非常 薄 ， 因 为 不 需要 背光 源 
(自身 能 产生 光 ) ; 功 耗 低 ; 更 新 速率 快 ; 滞留 时 间 短 ;颜色 再 现 度 高 ;分 辩 率 高 。 撰 写本 书 时 市 场 上 的 头 戴 式 显示 装置 大 多 数 


OLED 层 状 结构 
海 膜 品 体 管 背光 板 一 





图 4-4 “与 主动 矩阵 LCD 类 似 ，AMOLED 通 过 薄膜 晶体 管 《TFT) 层 驱 动 ， 这 个 结构 层 也 有 储 能 电容 器 以 维持 每 个 亚 像 素 的 状态 


图 片 来 源 : S.Aukstakalnis 


德州 仪器 (Texas Instruments) 公司 有 一 款 数 字 光 投影 式 世 片 (DLP) ， 在 技术 上 称 为 数字 微 镜 器 件 (DMD) ， 属 于 一 种 
微机 电 系 统 (MEMS) ， 称 为 空间 光 调 制 器 。 如 图 4-5 所 示 ， 芯 片 的 表面 布置 了 多 至 200 万 个 整齐 排列 的 微 镜 ， 每 个 微 镜 都 单独 
控制 ， 尺 寸 大 约 为 5.4 微 米 ， 每 个 微 镜 可 代表 投影 的 一 个 像素 (Bhakta，2014) 。 将 RGB 光源 对 准 、 照 亮 微 镜 序列 ， 并 同时 向 
DLP 芯片 组 发 送 视频 和 图 形 信 号 (视频 和 图 形 信号 激活 每 个 DMD 镜 片 下 的 电极 ) 便 可 生成 影像 。 如 需 显 示 适 当 的 红 、 绿 或 监 
影像 通道 这 种 技术 称 为 场 序 彩色 ) ， 控 制 器 向 每 个 镜片 单元 下 的 记忆 单元 加 载 1 或 0， 使 镜片 向 朝向 或 背离 光源 的 方向 倾斜 ， 


倾斜 的 角度 是 +17"。 当 朝 光源 方向 倾斜 (+17") ， 所 反射 的 光 点 显示 为 ON。 当 以 背离 光源 的 方向 倾斜 (-17") ， 所 反射 的 光 
点 显示 为 OFF (或 黑色 ) 。 因 为 每 个 镜片 每 秒 钟 都 可 以 改变 几 干 次 方向 ， 并 且 可 以 改变 每 个 镜片 处 于 ON 或 OFF 位 置 的 持续 时 


间 ， 因 此 便 可 以 生成 不 同色 度 的 反射 光 。 当 与 不 同 的 光源 和 视觉 装置 配合 使 用 ，DMD 装 置 可 高 速 、 高 效 生成 光 图 案 。 


如 图 4-6 所 示 ，DLP DMD 心 片 因 其 特有 的 结构 和 小 尺寸 ， 可 以 很 方便 地 与 虚拟 和 增强 现实 的 近 眼 式 显 示 装 置 整 合 。DMD 微 
镜 序 列 变化 至 某 个 角度 时 正好 在 使 用 者 的 眼前 。 低 能 耗 、 三 合 一 式 的 RGB LED 此 时 从 微 镜 的 侧 方 或 底部 照 亮 微 镜 序列 ， 于 是 光 
经 视觉 装置 进入 人 的 眼睛 ， 并 在 视网膜 上 形成 影像 。 在 另 一 个 变化 角度 ，DMD 世 片 偏向 一 人 出， 此 时 反射 光 经 波导 ( 见 下 一 节 ) 
进入 人 有 眼 。 不 论 是 哪个 位 置 ， 眼 睛 都 是 作为 视觉 机 制 链 的 最 后 一 环 ， 视 网 膜 起 到 显示 平面 的 作用 (Bhakta 等 ，2014) 。 
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图 4-5 这 张 图 显示 了 DLP 数字 微 镜 器 件 的 基本 结构 。DMD 芯 片 中 的 铝 镜 片 可 旋转 、 反 射 率 很 高 ， 每 个 镜片 在 功能 上 相当 于 一 个 
光 开 关 
图 片 来 源 : 德州 仪器 公司 
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图 4-6 ”德州 仪器 公司 的 DLP 数 字 微 镜 装置 把 人 眼 视 网 膜 用 作 头 戴 式 显示 装置 视觉 机 制 的 最 后 一 环 


图 片 来 源 : S.Aukstakalnis 


DMD 代 表现 有 显示 技术 的 最 新 发 展 。DMD 是 头 戴 式 显示 装置 的 理想 成 像 解决 方案 ， 它 有 以 下 方面 的 优点 : 颜色 更 新 速率 
快 、 恢 复 时 间 短 、 分 辨 率 高 、 外 形 小 (镜片 序列 的 对 角 线 尺寸 达到 0.3 英 寸 便 可 生成 分 辨 率 为 1280x720 的 图 像 ) 、 最 亮 角度 可 
灵活 变化 、 低 能 耗 。 


4 . 硅 基 液晶 微 显示 装置 


硅 基 液晶 (LCoS) 成 像 技术 是 LCD 和 DLP 技术 的 交叉 融合 。 如 本 节 上 文 所 述 ，LCD 由 蜂窝 序列 组 成 ， 蜂 窝 内 有 液晶 分 子 ， 
蜂 富 结构 夹 在 两 层 极 化 材料 之 间 ， 每 个 蜂 请 (再 细 分 为 红 、 绿 、 蓝 色 部 分 ) 代表 一 个 像素 。 通 过 控制 液晶 分 子 的 相位 可 以 调节 每 
个 像素 的 状态 ， 从 而 控制 光 的 穿行 。 在 这 个 意义 上 ，LCD 是 一 种 发 射 性 的 技术 。 相 比 之 下 ，DLP 显 示 装 置 采 用 的 是 微 镜 序列 ， 每 
个 微 镜 都 有 单独 控制 (代表 一 个 像素 ) 、 将 RGB 光源 投射 的 光 序 贯 式 的 反射 。 通 过 控制 镜片 的 倾斜 角度 则 可 调节 每 个 像素 的 状 
态 。 在 这 个 意义 上 DLP 是 一 种 反射 性 的 技术 。 


如 图 4-7 所 示 ，LCoS 显 示 装 置 是 发 射 性 和 反射 性 技术 的 融合 。LCoS 显 示 装 置 是 以 硅 片 为 基 材 ， 其 上 涂 覆 一 层 反 射 率 很 高 的 
材料 ， 利 用 向 列 型 或 铁 电 体 的 液晶 调节 从 背光 板 反 射 的 场 序 型 彩色 光 。 因 为 控制 电路 在 每 个 像素 的 反射 面 的 下 方 LCD 在 这 方面 
的 结构 则 不 同 ， 是 环绕 每 个 像素 ) ， 因 此 对 光 通 路 没有 阻碍 ， 可 以 生成 清楚 得 多 的 图 像 。 
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图 4-7 ”这 张 图 显示 的 是 硅 基 液 晶 (LCoS) 芯片 的 具体 基本 结构 。 注 意 LCoS 芯 片 通过 调节 来 自 外 部 光源 的 光 而 生成 图 像 
图 片 来 源 ，Aesopus 在 Wikimedia 的 照片 ， 获 CC 3.0 许 可 
与 上 述 DLP DMD 解 决 方案 类 似 ，LCoS 忌 片 因 其 特有 的 结构 和 小 尺寸 ， 可 以 很 方便 地 与 虚拟 和 增强 现实 的 近 眼 式 显 示 装 置 
整合 。Google Glass (单眼 型 头 戴 式 显示 装置 ) 是 LCoS 技 术 的 有 力 例证 。 


如 图 4-8 所 示 ， 侧 身 投射 的 红 、 绿 和 蓝 色 (RGB) 微型 LED 序 列 用 来 产生 场 序 型 彩色 光 。 光 通过 一 个 栅 形 复眼 微型 镜片 结构 


( 见 图 4-9) ， 照 亮 LCos 的 反射 性 内 表面 。 从 芯片 出 来 后 ， 调 节 后 的 光 (每 个 颜色 通道 ) 经 极 化 光束 分 离 器 反射 ， 并 继续 在 显示 
装置 的 光 通 道内 穿行 ， 最 终 进入 人 有 眼 。 





图 4-8 ”这 个 图 片 序列 显示 的 是 Google Glass 采用 侧身 投射 红 、 绿 、 蓝 色 (RGB) LED 序 列 生 成 场 序 型 彩色 光 ， 从 而 生成 适当 的 图 
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图 片 来 源 : Siq Hazra 








LCoS 心 片 


| 
小 
Ne 
贷 
全 
A 
3 
吗 . 
加 
A 
吕 
上 
Sl 
洲 
可 
全 
a 
举 
| 
于 
落 
水 
部 
记 
上 
| 
他 
机 
水 
中 
内 
外 
les) 
Ea 
一 
已 
全 
Ry 
hn 
pd 
六 


眼 微型 镜片 结 ， 进 入 
LCoS 蕊 片 ， 然 后 经 光束 分 离 器 反射 ， 并 沿 着 该 显示 装置 的 光 通 道 继 续 穿行 











图 片 来 源 : AGL Initiatives 的 Andrew Vanden Heuvel 








4.2 ”相关 术语 和 概念 


评估 虚拟 现实 和 增强 现实 系统 的 显示 技术 时 ， 这 个 领域 的 名 词 (或 术语 ) 可 能 经 常 容 易 混 淆 ， 特 别 是 涉及 光 的 属性 时 。 本 节 
我 们 讨论 一 些 基本 的 术语 和 概念 ， 为 理解 显示 装置 的 技术 性 能 打下 坚实 的 基础 。 


4.2.1 关于 光 


光 是 能 刺激 人 了 眼 感光 细胞 的 辐射 能 。 如 第 3 章 所 述 ， 人 有 眼 只 能 感受 电磁 光谱 中 很 窄 的 一 个 波段 一 一 波长 在 380 纳 米 至 740 纳 
米 之 间 的 部 分 。 


流明 (lumen) 





流明 (Im) 是 光 通 量 (一 个 光源 发 射 的 可 见 光 能 的 总 量 ， 详 见 下 一 条 定义 ) 的 测量 单位 。 大 多 数 光 的 
测量 结果 用 流明 表示 。 在 涉及 基于 投射 技术 的 显示 装置 时 你 将 会 看 到 这 个 度量 单位 的 使 用 频率 很 高 。 


光 通 量 (luminous flux) 一 一 光 通 量 是 光源 通过 人 有 眼 能 感受 到 的 波长 (380 纳 米 ~ 740 纳 米 ) 在 一 个 时 间 单 位 内 辐射 的 光 能 
的 量化 表示 。 光 通 量 的 度量 单位 是 流明 (Im) 。 一 个 瓦特 的 辐射 功率 在 555 纳 米 的 波长 ， 即 健康 的 人 眼 最 敏感 的 波长 ( 黄 绿 
色 ) ， 等 于 680 流 明 的 光 通 量 (Meyer-Arendt，1968) 。 


发 光 强 度 (luminous intensity) 一 发光 强度 是 从 一 个 点 在 一 个 立体 角 内 发 射 或 反射 的 光 通 量 。 用 于 表示 发 光 强 度 的 度量 
单位 是 流明 /立体 弧度 ， 或 烛光 。 

烛光 (candela) 一 一 烛光 是 一 个 点 光源 在 特定 的 方向 在 每 个 立体 角 发 射 的 光量 的 测量 单位 。 

亮度 (luminance) 一 一 亮度 用 来 度量 在 给 定 方向 投射 在 一 个 单位 内 的 发 光 强度 。 面 积 亮 度 是 穿 过 一 个 特定 区 域 、 从 特定 


区 域 发 射 ， 或 从 特定 区 域 反 射 并 落 在 给 定 立体 角 范 围 内 的 光 的 数量 。 用 于 表示 亮度 的 测量 单位 是 烛光 /平方 米 (cd/m2) 。 读 者 
还 会 经 常 看 到 用 尼 特 (nit) 或 尺 朗 伯 (fL) 表示 亮度 。1 尺 朗 伯 =3.426 烛 光 / 平 方 米 。 


照度 (iluminance) 一 一 照度 是 投射 在 一 个 单位 面积 的 平面 上 的 光 通 量 。 其 测量 单位 是 勒 克 司 (lx) ， 或 流明 /平方 米 
(Im/m2) 。 在 特定 光 通 量 下 ， 照 射 的 面积 越 大 则 照度 越 小 。 





明亮 度 (brightness) 一 一 明亮 度 是 一 个 纯粹 主观 的 属性 或 特性 ， 用 于 表示 显示 装置 的 亮度 。 明 亮度 是 视觉 效果 ， 不 是 测 
量 结 果 。 从 技术 的 角度 来 看 ，“ 明 亮度 ”和 “亮度 ”这 两 个 术语 不 应 替换 使 用 (虽然 经 党 替换 使 用 ) 。 明 亮度 是 一 个 不 可 测量 的 
特性 。 


4.2.2 ”显示 装置 的 性 能 和 特性 


虚拟 和 增强 现实 的 头 戴 式 显 示 装 置 有 很 多 方面 的 性 能 和 特性 需要 考虑 。 以 下 每 项 性 能 和 特性 都 会 直接 影响 此 类 显示 装置 的 质 
量 和 性 能 。 


空间 分 辩 率 (spatial resolution) 一 一 空间 分 辨 率 指 显示 装置 的 单个 像素 的 数量 ， 用 垂直 和 水 平方 向 的 数值 表示 ， 例 
如 ，Oculus Rift CV1 的 单眼 空间 分 辨 率 是 1200x1080。 


像素 中 心 距 (pixel pitch) 一 一 像素 中 心 距 指 相 邻 两 个 像素 (一 个 RGB 三 合 一 单元 、 一 簇 LED 等 ) 的 中 心间 的 距离 ， 用 毫米 
表示 。 其 概念 如 图 4-10 所 示 。 


填充 因数 (fil factor) 一 一 对 任何 一 种 基于 像素 的 视觉 显示 装置 而 言 ， 填 充 因数 指 像素 单元 间 的 黑色 空间 。 因 为 这 些 显示 
装置 通常 是 由 精确 排列 的 序列 结构 组 成 ， 如 果 像素 间 的 黑色 区 域 过 多 ， 则 近 距 离 观 看 显示 平面 时 会 有 布 满 细 网 格 或 “ 纱 门 ” 的 视 
觉 效果 。 


像素 间距 





图 4-10 这 张 图 片 表示 的 是 像素 中 心 距 的 概念 。 像 素 中 心 距 是 指 相 邻 两 个 像素 〈 一 个 RGB 三 合 一 单元 、 一 答 LED 等 ) 的 中 心间 的 
距离 ， 用 毫米 表示 
图 片 来 源 : S.Aukstakalnis 
在 表述 这 种 现象 时 ， 说 填充 因数 高 ， 是 指 像 间 的 黑色 空间 很 小 。 填 充 因 数 低 ， 则 表示 像素 间 的 黑色 空间 过 多 。 这 种 现象 如 图 
4-11 所 示 。 





填 元 因数 低 


图 4-11 这 张 图 用 来 解释 “填充 因数 ”的 概念 。 填 充 因 数 指 像素 单元 间 的 黑色 空间 。 填 充 因数 低 ， 则 近视 眼 显示 装置 会 有 很 强 


的 “ 纱 门 ”视觉 效果 


填充 因数 忆 


图 片 来 源 : S.Aukstakalnis 


在 本 章 探讨 的 四 种 主要 的 成 像 技术 (LCD、AMOLED、DLP 和 LCoS) 中 ，DLP 的 像素 间 可 感觉 到 的 空间 最 小 (或 填充 因数 
最 高 ) ， 因 为 组 成 必 片 的 反射 表面 的 微型 镜片 尺寸 非常 小 。 


持续 性 (persistence) 一 一 指 像素 保持 明亮 状态 的 时 间 长 短 。 完 全 持续 性 指 像素 在 整个 帧 幅 的 时 段 内 都 保持 明亮 状态 。 低 
持续 性 指 像素 保持 明亮 状态 的 时 间 只 占 整个 帧 幅 的 时 段 的 一 部 分 。 增 加 更 新 速率 则 会 降低 持续 性 时 间 。 持 续 性 通常 用 百分比 表 


个 \。 


潜伏 时 间 (latency) 一 一 指头 戴 式 显 示 装 置 运作 与 实际 的 显示 器 件 更 新 以 反映 新 的 场景 图 像 之 间 的 实 耗 时 间 (用 毫秒 表 
示 ) 。 潜 伏 时 间 并 不 仅 是 显示 器 件 的 问题 ， 而 是 所 有 的 系统 元 件 完成 加 工 任务 以 更 新 和 显示 图 像 所 需 的 时 间 。 


反应 时 间 (response time) 一 一 指 像素 改变 状态 所 需 的 时 间 。 反 应 时 间 的 测量 结果 用 毫秒 表示 。 反 应 时 间 越 长 ， 则 图 像 看 
起 来 越 不 逼真 。 反 应 时 间 短 对 头 戴 式 视觉 装置 非常 重要 。 





色 域 (color gamut) 显示 装置 的 色 域 是 指 其 能 生成 的 具体 颜色 。 有 很 多 方法 可 以 表示 显示 装置 的 色 域 ， 其 中 最 常用 的 
方法 是 国际 照明 委员 会 (CIE) 制订 的 XYZ 颜 色 系统 的 xy 色 度 图 和 NTSC (RGB) 色彩 空间 百分比 。 


对 比 度 (contrast) 一 一 对 比 度 是 显示 的 明亮 和 灰暗 区 域 间 的 相对 差异 。LCD 显 示 的 对 比 度 一 般 较 低 ， 而 AMOLED 显 示 的 
对 比 度 一 般 较 高 。 


4.3 ” 视 竞 结构 


头 戴 式 显示 装置 内 的 视觉 结构 有 以 下 三 个 方面 的 功能 : 


光 调 节 (collimation) 一 一 以 使 远 处 的 图 像 看 起 来 比 相 对 于 观察 者 眼睛 的 实际 物理 距离 要 远 。 
图 像 放 大 (magnification) 一 一 以 使 图 像 源 看 起 来 比 实际 的 图 像 源 要 大 。 
光 图 案 传递 (relay) 一 一 图 像 源 有 时 相对 于 穿戴 者 的 眼睛 而 言 不 在 轴线 上 (Melzer 等 ，2009) 。 


如 上 一 节 所 详 述 ， 头 戴 式 视觉 装置 可 采用 很 多 种 不 同 的 成 像 和 显示 技术 。 每 种 不 同 的 装置 都 需要 特有 的 视觉 设计 ， 有 的 是 为 
了 让 使 用 者 能 注视 距离 其 眼睛 只 有 几 英 寸 的 显示 平板 ， 有 的 是 为 了 把 处 于 轴 外 位 置 的 〈 比 如 显示 装置 的 侧 边 ) 微型 显示 器 件 生成 
的 图 像 传 递 到 视野 内 。 在 很 多 方面 ， 视 党 结构 都 是 设计 头 戴 式 视觉 装置 的 最 大 挑战 ， 也 经 常 是 一 个 限制 因素 。 在 系统 中 每 增加 一 
个 视 沉 器件， 就 意味 着 显示 装置 的 总 体 尺寸 和 重量 增加 。 


另外 一 个 主要 的 挑战 是 ， 头 戴 式 显示 装置 是 以 人 体 中 心 的 系统 。 我 们 的 感觉 机 制 的 复杂 性 和 敏感 性 要 求 头 戴 式 显示 装置 精 
确 ， 能 进行 适应 性 调节 ， 否 则 会 产生 各 种 问题 ， 比 如 使 用 者 感到 不 舒服 、 恶 心 ， 以 及 总 体 最 终 用 户 体验 差 。 


目前 还 没有 某 一 款 头 戴 式 显示 装置 可 以 满足 所 有 最 终 用 户 的 需求 ， 也 许 将 来 也 不 会 有。 能 满足 一 般 消 费 者 的 游戏 和 娱乐 需求 
的 装置 可 能 并 不 能 满足 专业 用 户 的 需求 。 另 外 还 得 考虑 成 本 。 为 专业 用 户 设计 的 精确 系统 (比如 飞行 模拟 和 增强 现实 ) 对 于 普通 
消费 者 可 能 无 一 例外 都 价格 太 高 。 尽 管 这 些 装 置 的 光学 设计 多 种 多 样 ， 但 所 有 的 头 戴 式 显示 装置 都 有 一 些 共同 的 特性 和 考虑 内 
容 ， 读 者 应 意识 到 这 一 点 ， 以 下 就 对 此 进行 探讨 。 





1. 视 野 


用 于 虚拟 和 增强 现实 的 头 戴 式 显示 装置 需要 考虑 的 一 个 关键 点 是 视野 。 视 野 是 双眼 可 见 的 虚拟 图 像 的 总 角度 尺寸 ， 用 角度 表 
示 (Barfield 和 Furness，1995) 。 因 为 不 同 的 双眼 双 通 道 式 显示 装置 其 左 、 右 眼 视野 的 重 区 范围 差别 很 大 ， 因 此 ， 有 时 有 必要 
同时 用 双眼 双 通 道 各 自 的 水 平视 野 角度 值 和 总 的 视野 角度 值 表示 其 视野 范围 。 


如 图 4-12 所 示 ， 对 于 健康 的 成 年 人 ， 双 眼 双 通 道 的 水 平视 野 (这 是 立体 视觉 的 基础 ， 对 于 深度 感知 也 很 重要 ) 的 平均 值 是 
120"， 而 总 视野 大 约 是 200"。 我 们 的 垂直 视野 大 约 是 130"。 


120” 双眼 视 野 重 炙 


200 
总 水 平视 最 






图 4-12 ”这 张 图 片 表示 的 是 普通 人 的 水 平和 重 直 视野 的 极限 范围 








妈 片 来 源 : S.Aukstakalnis 








2. 双 腿 视 野 重 者 


双眼 视野 ， 又 称 为 双眼 视野 重 十 ， 是 总 视野 中 两 只 眼睛 的 视野 重 卉 的 部 分 。 人 类 视觉 的 这 个 特性 对 于 深度 的 感知 非常 重要 ， 
因为 根据 可 见 场景 中 的 物体 所 处 的 相对 角度 可 以 估 测 其 所 处 位 置 的 距离 (Boger，2013) 。 


3. 瞳 孔 间距 


瞳孔 间距 (IPD) 是 两 只 眼睛 的 瞳孔 的 中 心间 的 距离 。 这 个 参数 对 于 所 有 的 双眼 视觉 系统 都 极其 重要 ， 不 论 是 标准 的 眼镜 ， 
还 是 头 戴 式 立体 显示 装置 。 


瞳孔 间距 的 设 定 是 否 正 确 极其 重要 ， 因 为 眼睛 与 镜片 的 相对 位 置 如 果 调 整 不 当 则 会 导致 图 像 变形 ， 从 而 导致 眼睛 疲劳 、 头 
疼 ， 甚 至 引发 呕吐 (Ames 等 ，2005) 。 有 关 这 方面 我 们 将 在 第 21 章 中 讨论 。 瞳 孔 间距 如 设 定 不 当 还 会 影响 辐 转 ， 并 导致 不 能 
确 感知 所 显示 的 影像 。 


4. 出 瞳 距 离 


头 戴 式 显示 装置 的 出 瞳 距离 是 眼睛 的 角膜 至 距离 最 近 的 一 个 视 沉 器 件 的 距离 。 出 瞳 距离 是 使 用 者 能 获得 显示 装置 的 整个 视野 
角度 的 距离 。 这 个 参数 是 个 非常 重要 的 考虑 点 ， 特 别 是 对 于 穿戴 矫正 镜片 (特别 是 眼镜 ) 的 使 用 者 ， 因 为 眼镜 所 需 的 出 瞳 距 离 就 
有 大 约 12 毫 米 。 例 如 ，HTC 的 Vive ( 详 见 第 6 章 ) 的 出 瞳 距 离 可 调整 ， 以 满足 戴 眼镜 人 士 的 需求 ， 而 Oculus 的 Rift CV1 ( 详 见 第 
6 章 ) 则 没有 这 个 功能 。 可 以 想象 ,调整 出 瞳 距离 会 直接 影响 显示 设备 使 用 者 实际 感觉 到 的 视野 。 


5. 出 瞳 直 径 


出 瞳 直 径 指 视觉 系统 至 眼睛 的 光束 的 直径 。 


6. 出 瞳 空 间 


出 瞳 空间 指 显 示 装 置 的 使 用 者 能 调整 瞳孔 并 体验 其 完整 性 能 的 空间 。 如 图 4-13 所 示 ， 出 瞳 空间 由 出 瞳 距离 和 出 瞳 直径 决 


me | 
人 自 。 


韭 瞳孔 成 像 光学 结构 








图 4-13 ”这 张 图 片 显示 的 是 瞳孔 成 像 和 非 瞳孔 成 像 设 计 的 最 基本 配置 





图 片 来 源 : S.Aukstakalnis 











7. 瞳 孔 成 像 和 非 瞳孔 成 像 视觉 系统 


见 觉 系统 设 i 或 分 类 ， 可 以 分 为 两 大 类 ， 瞳 孔 成 像 和 非 瞳 孔 成 像 
(Barfield，2015) 。 市 场 上 的 沉浸 式 显 示 装 置 ， 比 如 HTC 的 Vive、Oculus 的 Rift 和 Sony 的 PSVR 采 用 的 是 非 瞳孔 成 像 结 构 。 如 
图 4-13 所 示 ， 以 上 三 个 系统 采用 一 个 放大 器 直接 调节 来 自 显示 平板 的 光 。 





虽然 按 单 镜片 结构 、 非 瞳孔 成 像 的 视觉 系统 设计 的 显示 装置 重量 更 轻 、 体 积 更 小 、 出 瞳 空 间 更 大 ， 但 其 弱点 是 弯曲 光 场 的 过 
程 中 会 发 生 很 大 的 变形 。 这 种 效应 称 为 枕 形 失真 ， 如 图 4-14 所 示 。 为 抵消 这 种 效应 ， 显 示 在 这 种 视觉 装置 上 的 图 像 必 须 按照 相 
反 的 、 相 向 程度 的 桶 形 失真 进行 调整 ， 以 抵消 这 种 效应 。 


另外 ， 瞳 孔 成 像 视觉 系统 (比如 通常 与 DLP DMD 和 和 LCoS 微型 显示 器 件 结合 使 用 ) 在 头 戴 式 视觉 装置 的 设计 方面 有 更 大 的 
灵活 度 ， 因 为 瞳孔 成 像 视觉 系统 可 以 折 袁 、 弯 曲 ， 或 通过 其 他 方式 操控 视 党 通道 ， 以 适应 不 同 设计 目的 的 要 求 。 图 4-15 显 示 的 
是 这 类 结构 所 采用 的 一 些 光 学 器 件 、 光 束 分 离 器 及 其 组 合 配置 。 


HH 


枕 形 失真 情形 失真 


图 4-14 这 张 图 片 示 意 的 是 枕 形 失真 ， 即 视觉 系 统 在 图 像 的 边缘 造成 的 极 大 变形 。 通 常 这 种 变形 通过 反 向 的 桶 形 失真 对 输出 的 图 
像 进行 补偿 。 如 果 不 能 正确 地 对 这 种 现象 进行 矫正 ， 则 可 能 导致 深度 感知 下 降 ， 造 成 距离 判断 错误 





图 片 来 源 :，S .Aukstakalnis 插 图 


双 凸 ，， 平 凸 透镜 正 弯 月 。” 负 弯 月 。 平 叫 双 凹 ” 菲 浊 尔 
半 色 调 反射 器 虫 眼 反射 镜 9 





图 4-15 这 张 图 片 显示 的 是 设计 头 戴 式 视觉 结构 时 所 采用 的 各 种 单独 的 光学 器 件 及 其 组 合 技术 和 策略 








图 片 来 源 ， 上 方 的 光学 器 件 来 自 ElfQri 的 Wikimegdia 照 片 ， 获 CC 3.0 许 可 。 组 合 配 置 的 插图 来 自 公共 领域 的 资源 

















8. 波 导 


波导 是 使 光波 通过 内 反射 在 视觉 系统 内 穿行 的 物理 结构 。 如 图 4-16 ~ 图 4-19 所 示 ， 波 导 把 光 的 运动 限制 在 两 个 表面 之 间 
(从 光 进 入 波导 的 点 至 光 离 开 波 导 的 点 ) 。 


虽然 内 反射 这 个 基本 概念 相当 简单 ， 但 显示 技术 从 这 一 点 逐渐 变 得 复杂 一 一 主要 是 通过 图 像 源 导入 (输入 耦合 ) 和 导出 


(输出 耦合 ) 波导 的 方式 。 总 的 来 说 ， 市 场 上 现 有 的 增强 现实 显示 装置 所 采用 的 波导 可 分 为 以 下 四 大 类 。 


全 息 波导 一 全 息 波 导 利用 全 息 光 学 器 件 作 为 输入 和 输出 耦合 机 制 。Sony 的 Smart Eyeglass 显 示 装 置 采用 的 就 是 这 项 技术 
(如 图 4-16 所 示 ) 。 


衍射 波导 一 有 些 衍射 波导 的 表面 浮雕 式 光 栅 的 纹理 是 纳米 级 的 。 衍 射 光栅 (图 4-17 是 其 基本 示意 图 ) 目前 用 于 微软 公 
的 HoloLens、Vuzix 的 各 种 显示 装置 ， 以 及 各 种 国防 和 航空 电子 的 光学 系统 。 









全 入 :四 , 
输入 耦合 平面波 地 输出 看 合 
图 4-16 ”这 张 图 片 示意 了 全 息 波导 的 基本 功能 的 概念 
图 片 来 源 : S.Aukstakalnis 
输入 耦合 区 域 中 间 区 域 输出 耦合 区 域 


ss 
D>” 


图 4-17 这 张 图 片 (根据 专利 上 的 图 片 改动 ) 显示 的 是 某 种 基本 的 衍射 波导 设计 图 ， 这 种 波导 目前 用 于 几 款 商用 和 国防 光学 系统 
图 片 来 源 : 专利 US8189263 





极 化 波导 一 一 极 化 波导 (如 图 4-18 所 示 ) 是 由 多 个 部 件 形成 的 组 件 ， 内 嵌 一 个 部 分 反射 性 的 平行 极 化 表面 序列 和 多 层 涂 覆 
层 ， 从 而 将 光 导 向 观察 者 的 眼睛 。 这 个 方法 由 Lumus 开 发 ， 并 用 于 其 DK-50 AR 系列 眼镜 。 


PAHEAN I 





图 4-18 ”这 张 图 片 (根据 专利 上 的 图 片 改 动 ) 显示 的 是 Lumus 的 DK-50 AR 系列 眼镜 所 采用 的 极 化 波导 技术 。 图 中 粗 箭头 示意 的 是 
光 进 入 波导 、 通 过 波导 内 的 各 极 化 表面 向 前 穿行 、 退 出 波导 ( 细 箭 头 ) 的 路 径 
图 片 来 源 ， 专 利 US6829095 





反射 波导 一 一 反射 波导 (如 图 4-19 所 示 ) 运用 了 单一 的 平面 制导 光 ， 其 中 至 少 包 括 一 个 半 反 射 性 的 镜面 。Epson 的 
Moverio 系 列 产品 和 Google Glass 运用 了 这 项 技术 。 


i 半 反 射 性 自由 表面 





图 4-19 ”这 张 图 片 显示 的 是 Epson 的 Moverio 系 列 显示 产品 所 采用 的 设计 原理 和 光 通 路 径 





第 5 草 ”增强 性 显示 装置 


随 着 计算 和 显示 技术 变 得 越 来 越 强 大 ， 我 们 通过 图 形 、 文 本 和 符号 等 形式 的 信息 对 现实 世界 的 视觉 进行 增强 处 理 的 能 力也 在 
增强 。 本 章 我 们 将 探讨 目前 市 场 上 一 些 已 经 过 验证 的 、 有 发 展 前 景 的 增强 性 显示 技术 ， 重 点 介绍 其 天 键 功能 、 设 计 方面 的 差异 ， 
以 及 初步 的 应 用 情况 。 


5.2 ”单眼 式 增强 现实 显示 装置 


单眼 式 增强 现实 显示 装置 主要 是 作为 信息 装置 ， 将 字母 数字 、 图 像 和 符号 数据 鲁 加 到 使 用 者 的 视野 中 ， 但 对 其 总 体 场景 分 析 


没有 显著 的 影响 。 比 如 ， 在 这 类 显示 装置 帮助 下 ， 专 业 医疗 人 员 可 以 方便 地 观看 病史 档案 、 图 像 和 有 关 生 命 体征 的 测量 数据 ， 这 
类 显示 装置 也 可 以 为 技术 人 员 提 供 图 形 和 其 他 数据 ， 帮 助 他 们 完成 具体 的 作业 任务 。 


本 节 我 们 介绍 几 款 这 类 显示 装置 ， 重 点 是 各 自 的 具体 优点 以 及 预期 的 主要 应 用 领域 。 


5.2.1 ”Vuzix 的 M100 智 能 眼镜 


纽约 州 罗 四 斯 特 的 Vuzix 公 司 是 增强 现实 行业 最 老牌 的 公司 之 一 。Vuzix 创 建 于 1997 年 (当时 的 公司 名 称 不 同 ) ， 与 国防 领 
域 有 密切 的 关系 ， 多 年 来 已 开发 了 几 款 专门 的 显示 装置 ， 其 中 一 款 是 在 美国 军队 中 广泛 使 用 的 数字 夜 视 武 器 瞄准 装置 ， 另 一 款 是 
用 于 观看 战术 地 图 和 视频 的 高 分 辨 率 单眼 式 显 示 装 置 。 


2013 年 1 月 ，Vuzix 在 其 多 年 来 积累 的 研发 能 力 和 技术 的 基础 上 推出 了 M100 智 能 眼镜 ， 一 款 安 卓 系统 的 穿戴 式 电脑 和 单眼 
式 显示 装置 ( 见 图 5-10) 。 目 前 世界 上 很 多 企业 用 户 都 在 使 用 这 款 产 品 。 比 如 ， 这 款 产 品 可 用 于 生产 管理 、 指 导 仓储 设施 的 工 
人 以 提高 捡 货 作 业 的 效率 、 远 程 医疗 和 远程 协助 ， 甚 至 可 以 用 于 维护 停车 场 的 秩序 一 一 停车 场 的 现场 管理 人 员 只 需 轻 轻 一 警 便 
可 扫描 车 牌 ， 并 通过 腰 挂 式 打印 装置 当场 出 具 停车 票 。 可 通过 应 用 软件 用 这 款 产 品 拍照 、 录 制 和 播放 视频 ， 以 及 跟踪 使 用 者 的 位 
置 (通过 GPS) 和 穿戴 者 头 部 的 方向 。 正 如 其 制造 商 所 强调 ， 这 款 显 示 装 置 的 主要 优点 之 一 是 其 可 以 利用 数 以 干 计 的 现 有 应 用 软 
件 的 功能 。 另 外 还 可 以 利用 开发 商 的 资源 创造 定制 化 的 功能 。 





图 5-10 ”Vuzix 公 司 的 M100 智 能 眼镜 目前 是 现 有 用 户 最 多 的 增强 现实 显示 装置 之 一 





图 片 来 源 : Vuzix 公 司 











> 


从 使 用 者 的 角度 来 说 ， 这 款 显 示 装 置 的 视觉 效果 相当 于 把 4 英寸 的 智能 手机 屏 放 在 大 约 14 英 寸 的 距离 处 。 这 款 产 品 不 仅 左 、 
右 眼 都 可 以 戴 ， 而 且 其 外 壳 和 手柄 都 可 调节 ， 可 满足 不 同 使 用 者 的 需求 和 舒适 度 要 求 。M100 的 规格 见 表 5-9。 


表 5-9 Vuzix M100 的 规格 


特 性 规 格 
视觉 方式 单眼 式 
图 像 源 微型 LCD 
分 辨 率 420 x 240 宽屏 视频 图 形 阵 列 (WQVGA) 


帧 率 


特 规 格 
颜色 24 位 彩色 
显示 亮度 2000 烛光 /平方 米 ( 尼 特 ) 
对 比 度 
显示 装置 的 视觉 系统 非 透 视 性 组 合 器 
视野 15° (对 角 ) 
透明 度 不 适用 
头 部 跟踪 9 DoF IMU 
、 500 万 像素 照片 
了 人 1080p 视频 
Wi-Fi-802.11 b/g/n 
通信 蓝牙 4.0 LE 
mUSB: 控制 /电源 /升级 
主 处 理 需 OMAP4460@1.2 兆赫 
内 存 1GB 
接 入 式 存 储 絮 4GB 
手势 感应 器 (2 轴 ， 可 选 ) 
麦克 风 X2 
其 他 感应 器 件 环境 照明 
传感器 
GPS 
屏蔽 不 适用 
开发 环境 实 居 
i105S 


(Vuzix, 2016a) 


( 续 ) 


5.2.2 ”Vuzix 的 M300 智 能 眼镜 


2015 年 年 初 ， 英 特 尔 公司 大 规模 投资 Vuzix 公 司 ， 收 购 了 Vuzix 公 司 的 大 约 三 分 之 一 股份 ， 并 加 速 开发 和 推行 下 一 代 适 用 于 
企业 、 专 业 和 消费 者 的 可 穿戴 显示 装置 。 其 中 ，M300 智 能 眼镜 ( 见 图 5-11) 是 最 早 推出 的 新 显示 装置 之 一 。 





图 5-11 Vuzix 公 司 的 新 产品 M300 将 最 新 智能 手机 的 性 能 和 功能 融入 免 提 的 穿戴 显示 装置 


图 片 来 源 : Vuzix 公 司 


这 款 新 产品 充分 利用 最 新 的 计算 、 显 示 和 感应 技术 ， 相 对 于 上 一 代 产 品 ， 在 人 体 工 程 方面 有 显著 的 改善 ，CPU 更 快 ， 电 池 
是 热 插 拔 式 的 ， 内 置 手势 控制 ， 还 有 最 新 智能 手机 的 大 多 数 性 能 和 功能 。 另 外 ， 因 为 防水 、 防 尘 、 防 污 等 级 提高 ，M300 几 乎 可 
用 于 所 有 工作 环境 。M300 的 规格 见 表 5-10。 


表 5-10 ”Vuzix M300 的 规格 


特 性 规 格 
视觉 方式 单眼 式 
图 像 源 微型 LCD 
分 辩 率 640 x 360 ( 非 高 清 ) 
帧 率 
颜色 24 位 彩色 
显示 亮度 2000 烛光 /平方 米 ( 尼 特 ) 
对 比 度 
显示 装置 的 视觉 系统 非 透视 性 组 合 器 
视野 20° (对 角 ) 
透明 度 不 适用 
头 部 跟 足 9 DoF IMTU 
摄像 头 1300 万 像素 (照片 ) 
1080P (视频 ) 
Wi-Fi b/g/n/ac-Dual-B 2.4/5GHz 
通信 蓝牙 4.1/2.1+EDR 
MIMO 2x2 
imicroUSB 2.0 HS 
主 处 理 需 Intel Atom 
内 存 2GB 
接 人 式 存 储 央 16GB 
手势 感应 器 (2 轴 ， 可 选 ) 
麦克 风 X2 
其 他 感应 需 件 环境 照明 
传感器 
GPS 
屏蔽 不 适用 
CR 安 卓 
开发 环境 en 


(Vuzix, 2016b) 


5.2.3 Google Glass 


Google Glass 是 Google 公 司 开发 的 一 款 可 穿戴 电脑 ， 配 有 单眼 光学 透视 型 头 戴 式 显示 装置 (Google 是 加 利 福 尼 亚 州 芒 迁 
维 尤 市 的 一 家 公司 ) 。 到 目前 为 止 还 没有 哪 一 款 虚 拟 现实 和 增强 现实 显示 装置 像 Google Glass 那样 触动 了 人 们 的 情感 ， 激 发 了 
人 们 的 热情 (当然 也 有 攻击 ) ， 或 触发 了 那么 多 科研 、 开 发 和 应 用 研究 。 昌 然 巴 于 2015 年 初 退出 一 般 消 费 品 市 场 ，Google 
Glass 在 医院 、 仓 库 和 远程 服务 行业 等 专业 应 用 领域 拥有 一 群 热 切 的 用 户 。 这 款 产品 有 一 些 有 趣 的 应 用 ， 比 如 ， 尼 泊 尔 政府 将 其 
应 用 于 无 人 飞行 器 (UAV) 以 跟踪 犀牛 、 老 虎 和 大 象 (Pandey，2014) ， 有 人 将 其 作为 来 复 枪 在 转角 处 射击 时 的 瞄准 器 。 图 5- 
12 显 示 的 是 该 产品 的 基本 外 形 设计 。 





图 5-12 ”从 这 两 张 特写 图 可 以 看 到 Google Glass 的 设计 细节 





图 片 来 源 : Ted ] 


Eytan/Mitch Altma 的 Flickr 相 册 ， 获 CC 2.0 许 





可 


Google Glass 也 是 工程 学 上 的 一 件 艺术 品 。 虽 然 所 用 的 产品 实现 技术 几乎 没有 哪 一 项 是 新 的 或 革命 性 的 ， 但 将 这 些 技术 组 
合 在 这 么 小 的 尺寸 内 ， 并 且 以 创造 性 的 方式 实现 这 么 多 项 功能 ， 
看 到 主要 内 部 组 件 的 细节 。 


这 本 身 就 具有 突破 性 。 图 5-13 是 这 款 产 品 的 X 光 照片 ， 从 中 可 以 





图 5-13 ”这 是 Google Glass 的 X 光 照片 ， 从 中 可 以 看 到 其 显示 组 件 的 精巧 设计 细节 。 图 中 标注 的 部 件 为 : A) RGB LED; B) 横 形 
复眼 镜片 ; C) 极 化 光束 分 离 器 ; D) LCoS 显 示 器 件 ; EE) 波导 ; F) 摄像 头 





图 片 来 源 : AGL Initiatives 的 Andrew Vanden Heuvel 
撰写 本 书 时 ，Google Glass 正 在 重新 进行 设计 ， 预 计 在 2017 年 推出 新 款 。 其 现 有 版 本 的 详细 规格 见 表 5-11。 


表 5-11 Google Glass Explorer (第 2 版 ) 的 规格 


特 性 规 格 
视觉 方式 单眼 式 
图 像 源 LCOS 微型 显示 器 件 ( 色 序 型 ) 
分 辨 率 360p (640 x 360) 
帧 率 不 适用 
颜色 全 彩色 
显示 亮度 150 烛光 /平方 米 ( 尼 特 ) 
对 比 度 不 适用 
显示 装置 的 视觉 系统 反射 波导 
视野 ~15° 
透明 度 不 适用 
头 部 跟踪 9DoF IMU (Invensense MPU 9250) 
摄像 头 ne 
视频 : 720p 
通信 WiFi - 802.11 b/g 2.4GHz 
蓝牙 4.0 LE 
主 处 理 器 OMAP 4430 片上 系统 ， 双 核 
内 存 12GB 
接 人 式 存储 器 16GB 闪存 
触摸 屏 
其 他 感应 器 件 ta 
屏蔽 无 
开发 环境 安 卓 4.4，KitKat 


(Google，2014 ) 


结论 


本 章 我 们 介绍 了 目前 市 场 上 几 款 最 有 发 展 前 景 的 增强 现实 显示 装置 ， 不 过 这 还 只 是 冰山 一 角 。 有 几 十 家 大 大 小 小 的 公司 在 研 


究 、 实 验 和 创新 显示 技术 。 有 的 还 只 有 比较 简陋 的 工作 室 ， 有 的 已 经 拥有 了 正规 的 实验 设施 。 在 财务 资源 方面 ， 有 的 在 艰难 地 维 
持 ， 有 的 已 经 收 到 了 几 个 亿 的 风险 资本 ， 比 如 佛罗里达 州 目 前 还 蒙 着 一 层 神 秘 面 纱 的 Magic Leap 公 司 。 


虽然 科技 发 烧 友 们 对 一 般 消费 者 级 别 的 增强 现实 显示 装置 的 呼声 越 来 越 高 ， 硬 件 和 软件 制造 商 们 面临 的 关键 挑战 可 以 归纳 为 
以 下 两 个 简单 的 问题 : 你 所 想到 的 具体 应 用 是 什么 ? 除 游戏 方面 的 应 用 之 外 ， 你 认为 这 个 热门 产品 的 性 质 是 什么 ? 


回答 以 上 两 个 问题 的 困难 也 就 是 为 什么 大 多 数 增强 现实 显示 装置 的 制造 商 和 软件 开发 公司 在 开始 阶段 都 将 目标 用 户 定位 为 企 
业 用 户 ， 而 不 是 一 般 消费 者 。 这 些 技术 在 专业 领域 有 广泛 的 应 用 。 比 如 ， 可 以 提高 作业 人 员 和 流程 效率 ， 也 可 以 提高 急救 室内 医 
生 和 战场 上 士兵 的 态势 感 。 这 些 问题 、 挑 战 和 需求 再 明显 不 过 了 。 在 大 众 消费 领域 “不 可 或 缺 ”的 应 用 需求 出 现 之 前 ， 增 强 现实 
显示 装置 的 开发 商 们 将 继续 专注 于 能 为 他 们 带 来 收入 的 细 分 市 场 。 


即使 如 此 ， 基 于 移动 设备 的 增强 现实 显示 装置 在 不 久 的 将 来 会 在 消费 级 的 增强 现实 市 场 担 当 突 破 性 的 角色 。 比 如 ， 加 利 福 尼 
亚 州 的 PhaseSpace 公 司 开发 的 SmokeVR 系 列 头 戴 式 新 型 低 成 本 系统 ( 见 图 5-14) 预计 也 将 投放 市 场 。 





图 5-14 ”这 张 照 片 摄 于 2015 年 2 月 的 斯 坦 福 虚拟 现实 大 会 ， 照 片上 是 PhaseSpace 公 司 开 发 的 SmokeVR， 这 是 一 款 非 常 具有 创新 性 的 


基于 移动 设备 的 立体 视觉 增强 现实 显示 装置 














到 片 来 源 : PhaseSpace 公 司 的 Tracy McSheery 

这 款 产 品 基 于 最 初 在 2007 年 按照 与 海军 研究 室 (Office of Naval Research) 的 合同 所 完成 的 工作 ， 采 用 的 创新 性 的 宽 视 野 
视觉 设计 ， 水 平视 野 达到 100" ， 无 颜色 失真 ， 图 像 质量 非常 高 。 该 产品 还 配 有 一 个 绊 压 式 的 前 面 填 ， 加 上 这 个 面罩 这 款 产 品 就 
可 作为 沉浸 式 虚 拟 现实 显示 装置 。 


人 机 交互 界面 还 是 相对 年 轻 的 一 个 领域 。 了 解 如 何 充 分 利用 人 类 感官 系统 ， 并 在 此 基础 上 了 解 如 何 利用 这 个 新 的 介质 ， 从 很 
多 方面 来 说 我 们 还 只 是 处 于 尝试 阶段 。 





第 6 章 ” 完 全 沉浸 式 显 示 装 置 

虚拟 现实 就 在 我 们 身边 ， 它 已 经 不 再 只 是 大 学 或 政府 实验 里 的 专 享 之 物 。 因 为 几 项 核心 产品 实现 技术 的 重大 进步 ， 一 般 消费 
者 目前 可 以 在 市 场 上 买 到 第 一 代 高 质量 可 批量 生产 的 头 戴 式 显示 装置 。 本 章 我 们 将 详细 了 解 市 场 上 几 种 最 新 的 沉浸 式 头 戴 式 显示 
装置 ， 比 如 个 人 电脑 和 控制 台 驱 动 的 显示 装置 和 基于 现代 智能 手机 的 低 端 系统 。 
6.2 ”基于 智能 手机 的 显示 装置 


毫 无 疑问 ， 移 动 电话 是 实现 虚拟 现实 复杂 的 关键 领域 之 一 。 随 着 移动 处 理 器 的 性 能 不 断 提高 、 显 示 装 置 的 制造 商 们 在 相同 的 


屏幕 尺寸 不 断 增加 像素 ， 以 及 全 系列 的 新 感应 器 件 的 出 现 ， 困 扰 这 个 行业 的 一 些 久 攻 不 下 的 发 展 障碍 终于 取得 了 突破 性 的 进展 。 
在 这 个 过 程 中 各 种 技术 创新 喷涌 而 出 。 其 中 影响 最 大 的 一 项 进展 是 通过 开发 简单 的 工具 就 可 以 实现 将 智能 手机 本 身 作 为 驱动 沉浸 
式 虚 拟 体验 的 平台 。 


本 节 我 们 将 探讨 几 个 基于 智能 手机 的 显示 系统 。 虽 然 这 类 设备 的 制造 商 有 几 十 家 ， 产 品 在 总 体 设 计 、 光 学 结构 、 材 料 、 附 加 
功能 等 方面 各 不 相同 ， 但 其 中 的 大 多 数 都 是 在 本 节 所 介绍 的 产品 取得 巨大 成 功 后 才 推 出 。 


6.2.1 Google Cardboard 


颠覆 性 创新 (disruptive innovation) 是 由 哈佛 大 学 的 教授 Clayton Christensen 原 创 的 一 个 术语 。 这 个 术语 用 于 描述 这 样 
一 个 过 程 : 一 个 产品 或 服务 一 开始 是 作为 简单 的 应 用 在 市 场 的 底 端 面 扎根 ， 然 后 持续 地 往 市 场 的 上 端面 移动 ， 最 终 取代 老牌 的 竞 
争 对 手 。 


Google 于 2014 年 推出 的 一 款 用 硬 纸板 制造 的 头 戴 式 虚 拟 现实 装置 就 是 这 样 一 个 例子 。 这 款 基于 智能 手机 的 产品 所 用 的 材料 
不 过 是 廉价 的 塑料 双 凸 透镜 、 一 块 磁铁 、 一 个 垫圈 和 几 块 Velcro 硬 纸板 ( 见 图 6-6) ， 而 其 所 引起 的 震荡 通过 各 高 科技 中 心 
特别 是 通过 那些 正在 讨论 如 何 让 消费 者 为 高 端 个 人 电脑 驱动 的 虚拟 现实 显示 装置 买单 的 公司 会 议 室 一 一 传播 到 全 世界 。 现 在 任 
何人 只 要 有 15 美 金 和 一 台 智 能 手机 就 可 以 体验 虚拟 现实 (虽然 是 以 相对 比较 粗糙 的 形式 ) ， 甚 至 可 以 通过 同时 发 行 的 基本 软件 
开发 包 (SDK) 着 手 开发 自己 的 应 用 程序 。 








图 6-6 ”Google Cardboard 是 一 款 便宜 、 平 民 化 的 虚拟 现实 头 戴 式 设 备 标准 








图 片 来 源 : othree 的 Flickr 相 册 ， 获 CC 2.0 许 可 








最 初 的 震荡 过 后 ， 行 业 里 的 大 多 数 参 与 者 认识 到 ，Google 此 举 虽 然 可 能 对 Facebook 花 20 亿 美金 买 下 Oculus 公 司 有 点 嘲弄 
的 意味 ， 但 却 可 能 是 这 个 行业 历史 上 最 有 智慧 、 影 响 最 深远 的 事件 。 突 然 之 间 普 通 消费 者 也 有 一 种 方式 可 以 体验 市 场 上 的 高 性 能 


沉浸 式 虚 拟 现实 系统 的 功能 ， 哪 怕 只 是 那么 一 点 点 。 这 款 产 品 的 实际 效应 是 大 众 的 意识 和 热情 巨 幅 提 升 ， 单 不 用 说 有 几 十 家 新 成 
立 的 新 公司 在 这 个 行业 的 不 同 层面 寻找 机 会 ， 有 的 是 在 对 外 壳 的 耐久 性 能 改善 后 生产 和 销售 自己 的 成 品 显示 装置 ， 有 的 是 内 容 和 
应 用 软件 提供 商 。Google 自 己 推出 了 一 个 称 为 “Google Expeditions” 的 项 目 ， 目 前 高 中 、 初 中 和 小 学 老师 通过 这 个 项 目 使 用 
这 款 硬 纸板 的 显示 装置 在 关于 虚拟 领域 的 课堂 上 与 学 生 互动 。 第 18 章 中 还 会 介绍 这 个 项 目 。 截 至 2015 年 11 月 ， 全 世界 有 超过 10 
万 学 生 在 学 校 课堂 上 通过 Expedition 项 目 体 验 了 这 款 硬 纸板 显示 装置 。 


6.2.2 ”三星 GearVR 


Google Cardboard 及 其 类 似 装 置 代 表 的 是 基于 智能 手机 的 显示 装置 的 低 端 市 场 ， 而 三 星 的 GearVR 则 明显 是 按 高 端 市 场 定 
位 。 这 款 头 戴 式 设备 是 与 Oculus VR 联 手 开发 的 ， 于 2014 年 年 底 第 一 次 公开 ，2015 年 上 市 销售 。 


如 图 6-7 所 示 ，GearVR 是 一 款 头 戴 式 视觉 装置 和 控制 器 ， 可 以 稳 稳 地 安装 在 三 星 的 任何 主打 型 号 的 智能 手机 上 。 该 系统 的 
光学 结构 将 显示 装置 的 水 平视 野 扩展 到 96" ， 而 且 焦 距 可 调节 。 使 用 者 头 部 的 三 个 轴 向 动作 (前 后 摆动 、 左 右 摇头 和 左右 摆动 ) 
通过 内 置 IMU 跟 踪 (其 精确 度 比 移动 装置 内 置 的 IMU 要 高 ) 。 这 个 感应 器 及 安装 在 侧面 的 控制 器 (包括 触摸 屏 和 退回 按钮 ) 由 
移动 装置 供电 (通过 微型 USB 端 口 连接 ) 。 





图 6-7 三 星 GearVR 是 一 款 移动 虚拟 现实 头 戴 式 设备 ， 由 三 星 电 子 与 Oculus VR 联手 开发 。 这 款 产 品 可 作为 任何 一 款 三 星 智 能 手机 
的 外 壳 和 控制 器 ， 而 智能 手机 则 相当 于 该 头 戴 式 设备 的 显示 装置 的 处 理 器 





妈 片 来 源 : S.Aukstakalnis 











三 星 GearVR 头 戴 式 设备 的 详细 规格 见 表 6-5。 


表 6-5 三 星 GearVR 显 示 装 置 的 规格 


特 性 规 格 
视觉 方式 双眼 双 视 觉 通道 式 
图 像 源 AMOLED ( 按 所 建议 型 号 的 移动 装置 ) 
分 辩 率 取决 于 所 兼容 的 移动 装置 
更 新 速率 60 赫 效 (取决 于 内 容 ) 
显示 装置 的 视觉 系统 一 个 双 凸 透镜 (单眼 ) 
视野 96° 
出 瞳 距 离 / 焦距 出 瞳 距 离 固 定 ， 焦 距 可 调节 
瞳孔 间距 适应 范围 55 一 71 毫米 (不 可 调节 ) 
头 部 跟踪 3 DoF IMU (陀螺 仪 、 加 速 计 ) 
控制 按钮 触摸 屏 、 回 退 按钮 、 音 量 按钮 +( 通 过 移动 装置 ) 
声 道 通过 移动 装置 上 的 音频 接口 
连接 制式 微型 USB 
其 他 感应 器 件 接近 (感应 安装 /未 安装 ) 
量 318 克 (0.70 磅 ) 
Galaxy S7 
Galaxy S7 Edge 
兼容 设备 Galaxy NoteS 


(Samsung, 2016) 


6.4 ”半球 形 和 球形 


Galaxy S6 
Galaxy S6 Edge 
Galaxy S6 Edge+ 


大 尺寸 的 显示 装置 绝 不 仅 是 直线 条 的 。 在 很 多 行业 ， 半 球形 和 球形 的 显示 装置 很 常见 ， 特 别 是 对 视觉 呈现 的 精度 要 求 比较 高 
的 环境 ， 可 供 多 人 使 用 的 房间 式 环境 ， 以 及 需要 无 障碍 设计 的 环境 。 图 6-11 所 示 的 就 是 这 样 一 套 显 示 系 统 。 这 是 美国 军队 使 用 
的 先进 联合 终端 攻击 控制 人 员 培 训 系 统 (AJTS) ， 用 于 联合 终端 攻击 控制 人 员 (JTAC) 的 技能 发 展 和 培训 。 这 套 系统 模拟 了 
JTAC 所 用 的 所 有 环境 及 大 多 数 飞 机 和 武器 系统 。 





图 6-11 先进 联合 终端 攻击 控制 人 员 培 训 系 统 (AJTS) 模拟 装置 是 美国 军队 使 用 的 一 套 球形 视觉 显示 系统 ， 用 于 培训 联合 终端 攻 
击 的 控制 人 员 和 战斗 控制 人 员 























图 片 来 源 : 美国 国防 部 























这 套 系统 由 弗吉尼亚 州 赫 恩 登 的 QuantaDyn 公 司 为 美国 军队 开发 ， 其 核心 配置 包括 一 个 配置 高 分 辨 率 投影 仪 的 球形 视觉 显 
示 系 统 和 强大 、 直 观 的 电脑 生成 兵力 (GGF) /半自动 兵力 (SAF) 应 用 。 一 个 高 保 真 的 图 像 生成 装置 能 在 多 个 光谱 对 场景 进行 
泻 染 。 一 个 动态 听觉 信息 系统 能 生成 非常 真实 的 音频 ， 与 视 沉 显示 系统 相映 生 辉 。 这 套 模拟 装置 还 能 与 其 他 远程 模拟 装置 联网 ， 
通过 JTAC 与 处 于 远程 的 真实 飞行 员 通 信 ， 这 样 后 者 就 可 以 通过 自身 的 模拟 装置 实施 培训 。 


有 必要 指出 的 是 ， 对 于 这 样 的 大 尺寸 显示 装置 ， 采 用 立体 视 党 的 图 像 有 时 并 不 必要 ， 或 并 不 好 。 如 图 6-11 所 示 ， 在 很 多 模 
拟 场 景 中 ， 往 往 缺 乏 更 高 质量 的 三 维 视觉 所 需 的 近视 野 图 像 。 即 使 没有 近视 野 的 图 像 ， 这 种 显示 装置 因 视 野 宽 ， 仍 然 可 以 为 使 用 
者 提供 非常 逼真 的 身 在 模拟 场景 内 的 视觉 体验 。 


本 章 我 们 介绍 了 很 多 沉浸 式 的 显示 装置 ， 有 手持 式 和 头 戴 式 的 立体 视觉 显示 装置 ， 也 有 大 尺寸 、 固 定安 装 的 、 可 供 多 人 同时 
使 用 的 系统 。 不 论 是 哪 一 种 ， 呈 现在 使 用 者 视野 中 的 主要 是 电脑 生成 的 图 像 ， 或 视频 图 像 。 虽 然 大 多 数 头 戴 式 装置 都 能 提供 
360" 的 视觉 体验 ， 而 且 不 影响 所 显示 的 场景 ， 但 本 章 介绍 的 大 尺寸 显示 系统 大 多 数 没 有 这 种 功能 ， 因 为 计算 机 辅助 虚拟 环境 

(CAVE) 和 球形 的 显示 装置 有 步 入 口 ， 或 者 因为 系统 所 设计 的 具体 应 用 并 不 需要 这 项 功能 。 


这 种 显示 装置 目前 在 娱乐 、 工 程 、 科 研 和 培训 等 领域 得 到 了 广泛 应 用 ， 效 果 非 常 好 。 在 本 书后 续 有 关 应 用 案例 研究 的 部 分 我 


很 可 能 过 不 了 几 年 ， 市 场 上 的 头 戴 式 平板 显示 装置 大 多 数 都 会 被 贴 上 “ 旧 科 技 ” 的 标签 。 这 些 装 置 所 用 的 显示 装置 原本 是 为 
其 他 用 途 而 开发 的 。 正 因为 这 一 点 ， 需 要 相关 的 电子 器 件 大 而 重 的 光学 器 件 和 尺寸 过 大 的 外 壳 才 能 实现 系统 的 功能 。 虽 然 工程 学 
上 的 进步 令 人 瞩目 ， 对 这 个 快速 发 展 行业 的 当前 阶段 来 说 也 是 足够 的 ， 但 这 一 类 显示 装置 很 快 就 会 被 专门 为 这 种 应 用 从 零 开始 设 
计 的 新 系统 蔡 代 。 我 们 将 在 第 23 章 详细 讨论 这 些 趋势 。 


第 7 章 ”听觉 的 机 制 


毫 无 疑问 听 党 是 人 体 最 重要 的 感官 之 一 。 听 党 可 以 让 我 们 与 其 他 人 沟通 ， 它 通常 是 有 关 安 全 威胁 的 第 一 信息 源 ， 可 以 让 我 们 
获取 有 天 周 边 环境 的 非常 细节 的 信息 。 在 虚拟 和 增强 现实 系统 上 增加 音频 器 件 ， 可 以 提高 其 可 使 用 性 和 在 人 造 空间 的 总 体 “ 存 
在 ” 感 。 本 章 我 们 将 探讨 听觉 的 机 制 、 大 脑 如 何 定位 和 区 分 信息 源 ， 以 及 声音 线索 如 何 有 助 于 总 体 场景 分 析 。 


7.2” 听 完 通道 

我 们 的 双 耳 是 一 对 互相 配合 的 感觉 器 官 ， 能 让 我 们 进行 沟通 ,体验 周边 环境 产生 的 很 大 范围 的 刺激 。 这 个 将 空气 压力 的 振动 
转换 成 大 脑 可 以 分 析 和 解释 的 电子 脉冲 流 是 整个 人 体内 最 神奇 的 感官 过 程 之 一 ， 而 这 个 过 程 实际 上 是 从 头 部 以 外 开始 的 。 本 节 我 
们 将 沿 着 听 沉 通道 探究 听觉 的 机 制 ， 这 个 通道 包括 声音 达到 我 们 的 外 耳 处 和 电子 脉冲 被 送 到 大 脑 的 听觉 中 心 处 。 


7.2.1 外 耳 


我 们 的 听觉 是 通过 一 个 称 为 听 党 转 导 的 过 程 实现 的 。 这 个 过 程 中 ， 一 种 源 (声波 ) 被 转换 成 男 一 种 (传送 至 大 脑 的 电子 脉 
冲 ) 。 如 图 7-4 所 示 ， 当 声波 到 达 耳 朱 称 为 心 耳 的 部 分 时 ， 这 个 过 程 的 天 键 部 分 就 开始 了 。 
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图 7-4 人 类 听觉 通道 的 主要 结构 


图 片 来 源 :，Peterjunaigdy 在 123RF.com 上 的 照片 





心 耳 的 大 部 分 是 不 能 动 的 ， 由 软骨 和 皮肤 组 成 。 心 耳 的 那些 洞 、 沟 、 关 状 结构 不 是 随机 结构 。 这 些 结构 实际 形成 了 一 个 复杂 
的 、 非 常 精确 的 通道 ， 将 来 自 不 同 角度 的 声波 传送 至 耳 道内 。 

不 论 是 总 体形 状 还 是 具体 的 不 规则 表面 结构 ， 每 个 心 耳 都 是 独一无二 的 。 除 了 有 助 于 将 声音 输送 至 耳 道外 ， 心 耳 的 表面 还 会 
反射 声波 并 产生 轻微 的 混 响 。 对 特定 频率 的 声波 会 放大 ， 而 对 其 他 频率 的 则 会 减弱 ， 这 样 就 实际 上 改变 了 频谱 的 形状 
(Middlebrooks 和 Green，1991) 。 声 音 的 “颜色 ”通常 称 为 谱 形 线索 ， 在 我 们 定位 表面 声 源 的 能 力 方面 起 着 关键 作用 ， 这 一 
点 我 们 在 本 章 的 后 续 部 分 会 介绍 (Yantis，2013) 。 心 耳 还 有 一 项 功能 ， 就 是 改善 对 于 人 的 行为 和 言语 通信 来 说 很 重要 的 声音 
(Rash 等 ，2009) 。 

声波 进入 心 耳 后 ， 再 进入 外 耳 道 。“S” 形 的 耳 道 长 约 2.5 厘 米 (1 英寸 ) 、 直 径 约 0.7 厘 米 (0.3 英 寸 ) (Faddis，2008) ， 
沿 长 度 方 向 变 窒 (Shaw，1974) ， 为 中 耳 结 构 提 供 保护 ， 起 着 共振 器 的 作用 ， 并 将 2000 ~ 4000 赫 效 范围 的 声音 放大 10 ~ 15 分 
贝 (OSHA，2013) 。 耳 道 的 外 三 分 之 一 由 软骨 和 皮肤 组 成 ， 皮 肤 上 有 毛细 胞 和 生产 耳 垢 的 腺 体 。 内 三 分 之 一 由 骨 壁 组 成 ， 其 
上 履 有 一 层 薄 落 的 皮肤 。 


7.2.2 中 耳 


耳 道 的 终端 是 一 个 注 的 、 半 透明 的 、 椭 圆 形 的 膜 ， 其 直径 约 为 10 毫 米 ， 称 为 耳 鼓 。 耳 鼓 相对 于 耳 道 的 基础 角度 是 45° ~ 
60*， 其 周边 的 一 系列 小 肌肉 使 其 张 紧 (Gray，1918; stinson 和 Lawton，1989) 。 中 耳 内 有 一 系列 结构 ， 能 将 进入 耳 道 的 声 
波 转 换 成 进入 耳蜗 (充满 液体 ) 的 振动 ， 而 耳 鼓 是 这 个 系列 结构 的 第 一 个 。 


在 一 个 称 为 听觉 传导 的 过 程 中 ， 当 声波 使 耳 鼓 振动 时 ， 前 后 相继 的 三 块 小 骨头 一 一 狂 骨 、 砧 骨 和 锐 骨 (统称 为 “小 骨 ”) 


一 一 使 振动 沿 内 耳 移 动 。 如 图 7-5 所 示 ， 锤 骨 是 这 三 块 骨头 的 第 一 块 ， 牢 牢 地 附 在 耳 鼓 的 内 侧 。 当 耳 鼓 振 动 时 ， 锤 骨 便 同步 移 
动 。 然 后 ， 这 些 振动 被 传递 到 砧 骨 和 甸 骨 。 甸 骨 的 基板 与 一 块 膜 相连 ， 这 块 膜 是 覆盖 进入 内 耳 的 开口 ( 称 为 卵 圆 窗 ) 。 
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图 7-5 听觉 传导 《〈 即 把 在 耳 内 穿行 的 声波 转换 成 机 械 振动 ) 的 示意 图 
图 片 来 源 ，Peterjunaigdy 在 123RF.com 的 照片 
这 三 块 小 骨头 (人 体内 最 小 的 骨头 ) 不 仅 能 把 声波 转换 成 机 械 振 动 ， 还 起 着 复 杆 的 作用 ， 即 把 从 耳 鼓 进入 卵 圆 窗 的 振动 放大 
很 多 倍 。 有 了 这 个 杠杆 系统 ， 再 加 上 和 耳 鼓 (大约 80 平 方 毫 米 ) 和 孵 圆 窗 (大 约 3 平方 毫米 ) 之 间 的 尺寸 差异 ， 能 将 振动 耳 鼓 的 分 
子 大 小 的 声波 增加 30 倍 (Aukstakalnis 和 Blatner，1992) 。 如 果 没 有 外 耳 和 中 耳 小 骨 的 放大 作用 ， 则 只 有 0.1% 的 声音 能 进入 内 
耳 (Vetter, 2008) 。 














注释 中 本 的 三 块 小 骨头 ( 锤 骨 、 砧 骨 和 詹 骨 ) 是 人 体内 最 小 的 骨头 。 这 三 块 小 骨头 在 出 生 时 就 发 育 完整 ， 其 尺寸 在 人 的 一 生 中 都 不 会 改 
变 。 这 三 块 骨头 加 在 一 起 ， 如 果 不 考虑 相互 间 的 间隙 ， 也 只 有 一 块 硬币 大 小 。 











7.2.3 内 耳 


到 目前 为 止 我 们 已 经 探讨 了 声波 的 关键 特性 以 及 传播 模式 、 外 耳 和 内 耳 的 解剖 结构 ， 以 及 将 声波 转换 成 机 械 振动 的 过 程 。 本 
节 我 们 将 探究 内 耳 的 机 制 ， 以 及 将 到 达 中 耳 的 振动 转换 成 神经 脉冲 、 脉 冲 传送 至 大 脑 和 大 脑 最 终 感觉 到 声音 的 过 程 。 


半 规 管 和 前 庭 一 一 与 感知 头 部 在 三 个 空间 平面 的 移动 和 实 





内 耳 有 三 个 主要 的 控制 听觉 和 平衡 的 结构 。 其 中 的 两 个 结构 
现 平衡 感 有 关 ， 将 在 本 章 的 最 后 部 分 介绍 。 和 耳蜗 是 听觉 通道 中 最 重要 的 结构 ， 是 我 们 听觉 的 关键 之 所 在 。 


耳蜗 是 里 肯 中 的 一 个 螺旋 形 内 腔 ， 绕 其 轴线 2.75 圈 。 如 图 7-6 所 示 ， 如 果 展 开 ， 这 个 内 腔 就 像 一 根 大 约 长 35 宫 米 、 直 径 10 训 
米 的 管子 。 和 耳蜗 分 成 三 个 充满 液体 的 腔 室 : 前 庭 管 、 


鼓室 管 和 耳蜗 管 (Purves 等 ，2001) 。 这 三 个 腔 室 由 薄 腊 分开。 前庭 管 和 
鼓室 管 负责 传送 从 中 耳 的 小 骨 引 入 的 压力 波 ， 并 与 耳蜗 顶点 位 置 的 一 个 开口 ( 称 为 蜗 孔 ) 连接 。 第 三 个 腔 室 ， 即 耳蜗 管 ， 其 内 部 


有 一 个 称 为 柯 蔡 氏 器 的 非常 敏感 的 器 官 。 这 是 听觉 的 核心 器 官 ， 其 作用 是 将 电 脉冲 沿 听 神 经 输送 至 大 脑 。 


» 奴 





图 7-6 ”人 和 耳 的 耳蜗 结构 在 各 方向 的 剖面 图 


图 片 来 源 ，Alila 在 123RF.com 的 照片 


1. 卵 圆 窗 和 圆 窗 


如 上 节 所 述 ， 耳 鼓 和 中 耳 小 骨 的 振动 使 链 骨 人 在 履 盖 卵 圆 窗 的 膜 上 像 活 塞 一 样 制 动 。 卵 圆 窗 位 于 耳蜗 的 前 庭 管 的 底 基 上 。 液 体 
与 空气 不 同 ， 不 会 压缩 。 正 因为 如 此 ， 甸 骨 运 动 所 产生 的 压力 波 通过 另外 一 个 开口 调节 。 这 个 开口 称 为 圆 窗 ， 位 于 鼓室 管 的 底 基 
上 。 如 图 7-7 所 示 ， 当 甸 骨 振动 、 向 卵 圆 窗 内 推进 时 ， 履 盖 在 圆 窗 上 的 膜 反 相 振动 ， 向 中 耳 (充满 空气 的 空间 ) 的 方向 鼓 起 。 
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卯 贺 窗 和 圆 窗 反 相 运动 示意 图 
图 片 来 源 : Kern A、Heid C、Steeb W-H、Stoop N、Stoop R 在 Wikimedia 的 照片 ， 获 CC 2.5 许 可 一 S .Aukstakalnis 稍 有 修改 


压力 波 在 前 庭 管 和 鼓室 管内 形成 前 后 运动 ， 然 后 在 基 膜 上 形成 上 下 运动 ， 这 是 将 耳 鼓 内 液体 的 振动 转换 成 神 


经 信号 的 第 一 
步 ， 神 经 信号 最 后 输送 至 大 脑 ， 感 知 为 声音 。 基 膜 的 一 个 重要 特性 ， 是 机 械 性 能 (比如 宽度 和 刚度 ) 沿 其 长 度 方向 持续 变化 。 比 
如 ， 基 膜 在 其 最 宽 点 的 刚度 大 约 是 其 最 窄 点 的 刚度 的 百 分 之 一 。 基 膜 是 一 种 张力 组 织 ， 这 意味 着 可 以 将 耳蜗 液体 内 不 同 频率 的 振 
动 直接 转换 成 在 基 膜 上 移动 的 波形 ， 基 膜 在 特殊 的 位 置 会 发 生 最 大 的 位 移 ， 如 图 7-8 所 示 。 
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图 7-8 ”耳蜗 展开 示意 图 。 注 意 基 膜 的 张力 结构 


图 片 来 源 : 由 Kern A、Heid C、Steeb W-H、Stoop N、Stoop R 在 Wikimedia 的 照片 ， 获 CC 2.5 许 可 一 S.Aukstakalnis 稍 作 修改 
2. 柯 蔡氏 器 


柯 蔡氏 器 ( 见 图 7-9) 被 描述 为 “蜂窝 微型 结构 的 杰作 ” (Fritzsch 等 ，2011) ， 是 整个 人 体内 最 奇妙 的 感觉 机 制 之 一 ， 而 
且 毫 无 疑问 是 整个 听觉 系统 内 最 关键 的 结构 。 柯 蔡氏 器 位 于 基 膜 的 上 方 ， 延 展 至 耳蜗 管 的 整个 长 度 方 向 ， 其 表面 有 四 排 凸 起 的 毛 
细胞 (三 排 内 毛细 胞 、 一 排外 毛细 胞 ) 。 从 毛细 胞 伸 出 的 纤细 的 毛 称 为 静 纤毛 。 悬 在 毛细 胞 上 方 的 膜 称 为 覆 膜 。 


外 毛细 胞 


支持 细胞 





图 7-9 柯 替 氏 器 的 剖面 图 

















图 片 来 源 : hfsimaging 在 123RF .com 的 照片 

当 压 力 波 在 鼓室 管内 的 液体 中 移动 时 ， 基 膜 内 产生 的 波形 在 毛细 胞 上 形成 压力 ， 使 静 纤 毛 与 悬 在 上 方 的 履 膜 接触 并 形成 剪 切 
运动 (Richardson 等 ，2008) 。 剪 切 运动 使 静 纤毛 弯曲 ， 并 和 触发 复杂 的 电化 学 过 程 。 这 个 电化 学 过 程 改 变 经 过 毛细 胞 膜 的 电 
压 ， 把 振动 形式 的 能 量 转换 成 电信 和 号。 电信 和 号 经 听 神 经 传送 到 大 脑 的 听觉 中 心 。 


毛细 胞 的 反应 精度 非常 惊人 : 柯 蔡氏 器 内 的 毛细 胞 可 以 准确 地 探测 原子 大 小 范围 的 运动 ( 即 人 的 听 阅 ) ， 而 且 反 应 时 间 只 有 
几 十 毫秒 (Purves 等 ，2001) 。 





马 注释 ”虽然 有 神奇 的 功能 ， 内 耳 耳 蜗 的 总 体 尺寸 不 过 一 块 橡皮 擦 大 小 。 





3. 听 神经 


听 神 经 ， 又 称 为 蜗 神 经 ， 其 功能 是 把 来 自 柯 蔡氏 器 内 的 毛细 胞 的 电信 号 输送 到 大 脑 的 听觉 中 心 进行 处 理 。 在 成 人 体内 ， 听 神 
经 内 的 神经 纤维 的 平均 数量 大 约 是 30000。 这 些 神经 纤维 从 耳蜗 的 基部 引出 ， 合 在 一 起 形成 长 约 1 英寸 的 神经 干 ， 其 终端 位 置 是 
位 于 脑 干 侨 质 内 的 蜗 神 经 核 (Spoendlin 和 Schrott，1989) 。 


7.2.4 从 单 耳 听觉 到 双 耳 听觉 


到 目前 为 止 我 们 从 单 耳 听 党 的 角度 介绍 了 人 体 的 听觉 通道 ， 因 为 我 们 的 两 只 耳 打 的 功能 方式 完全 一 样 。 当 来 自 每 只 耳 洒 的 柯 
蔡氏 器 的 电信 号 经 过 各 自 的 听 神 经 汇聚 到 位 于 脑 干 内 的 蜗 神 经 核 复合 体 时 ， 听 觉 信息 的 加 工 便 开 始 变 为 一 个 双 耳 听觉 的 过 程 。 


下 一 节 我 们 将 探索 到 达 双 耳 的 声 能 的 物理 特性 与 头 部 几何 尺寸 之 间 的 关系 。 因 为 这 两 者 之 间 的 交互 作用 ， 我 们 的 大 脑 不 仅 可 
以 利用 不 同 的 声音 现象 确定 声音 源 的 位 置 ， 还 可 以 确定 其 不 同 的 本 质 特性 ， 包 括 运动 和 距离 。 


7.3 ”声音 线索 和 三 维 定位 


人 的 大 脑 可 以 相当 精确 地 确定 声音 源 在 环境 中 的 位 置 。 神 经 学 家 将 这 种 能 力 称 为 定位 。 这 个 能 力 的 核心 是 基于 以 下 生理 基 
础 : 我 们 有 两 只 在 空间 上 独立 的 耳 朱 ， 内 丁 的 传导 和 感应 结构 非常 精巧 ， 大 脑 的 认识 中 心 在 分 析 输 入 的 声音 信号 方面 有 强大 的 功 
能 。 大 多 数 有 听觉 能 力 的 动物 也 有 这 个 能 力 ， 但 在 敏锐 性 方面 相互 差异 很 大 。 比 如 ， 狐 头 磨 、 大 象 、 猫 和 老鼠 都 有 非常 好 的 声音 
定位 能 力 。 相 反 ， 马 、 牛 和 山羊 在 这 方面 的 能 力 就 非常 差 (Heffner 和 Heffner，1992) 。 


对 于 人 类 而 言 ， 精 确 地 定位 声音 可 以 极 大 地 提高 生存 所 需 的 空间 意识 、 丰 富 性 和 安全 性 。 我 们 可 以 感知 雨林 的 总 体 声音 ( 虽 
然 是 不 同 的 单个 声音 ) 、 通 过 声音 了 解 小 孩 在 玩 机 时 的 位 置 或 是 在 黑夜 向 我 们 靠近 的 政 人 。 通 过 这 样 的 听觉 能 力 我 们 可 以 了 解 周 
围 环境 非常 详细 的 细节 。 


声音 线索 


人 脑 用 声音 线索 来 确定 声音 源 在 环境 中 的 空间 位 置 ， 科 研 人 员 将 声音 线索 分 为 三 大 类 : 双 耳 时 间 差 (ITD) 、 双 耳 音 强 差 
(lID) 和 频谱 线索 。 在 描述 这 些 现象 时 ， 我 们 会 根据 以 下 三 个 元 素 ， 使 用 一 般 的 球面 坐标 系 : 方位 角 (在 水 平面 上 向 左 、 向 右 
或 向 前 ， 正 前 方 的 方位 角 是 零度 (0") ， 正 右 方 是 90"， 正 后 方 是 180") 、 高 度 (高 出 或 低 于 水 平面 的 角度 ) 、 距 离 。 


图 7-10 是 该 坐标 系 的 示意 图 。 


正中 和 平面 
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图 7-10 一般 用 于 声音 定向 和 定位 的 坐标 系 示 意图 











图 片 来 源 : S.Aukstakalnis 





1 方位 角 线索 
用 于 确定 声音 在 水 平面 位 置 的 最 有 效 的 线索 主要 有 两 大 类 。 


双 耳 时 间 差 (ITD) 是 声音 到 达 两 只 耳 洒 的 时 间 的 差异 ， 这 个 概念 的 示意 图 见 图 7-11。 如 本 章 前 面 有 关 部 分 所 述 ， 在 同一 个 
介质 内 ， 所 有 声音 的 运动 速度 都 一 样 ， 不 论 是 什么 频率 。 当 声音 从 正中 平面 ( 见 图 7-10) 的 左 侧 或 右 侧 到 达 头 部 ， 那 么 声音 到 
达 两 只 耳 洒 的 路 径 距 离 不 一 样 。 换 名 话说， 声音 达到 一 只 耳 打 早 ， 到 达 另 一 只 耳 打 晚 。 声 音源 在 听 者 的 正 左 方 或 正 右 方 时 双 耳 时 
间 差 最 大 。 


按 声音 在 海平 面 的 速度 ( 约 为 340 米 / 秒 ， 或 761 英 里 /小 时 ) 计算 ， 声 音 穿 过 成 人 头 部 的 平均 宽度 需要 0.6 宫 秒 。 


有 必要 指出 的 是 ， 当 声音 源 位 于 正 前 方 、 正 后 方 、 正 上 方 或 正 下 方 〈 即 正中 平面 上 的 任何 点 ) 时 ， 双 耳 时 间 差 为 零 ， 这 意味 
着 不 能 生成 任何 有 天 声音 方向 的 信息 。 


双 耳 音 强 差 (IID) 是 两 只 耳 朱 所 感觉 到 的 音 强 的 差异 ， 图 7-12 是 这 个 概念 的 示意 图 。 如 果 声 音源 在 听 者 的 正 前 方 或 正 后 
方 ， 则 两 只 耳 打 所 感觉 到 的 音 强 一 样 。 而 如 果 声 音源 的 位 置 偏向 一 边 ， 则 双 耳 所 感觉 到 的 音 强 稍微 不 同 。 这 是 因为 以 下 因素 引起 
的 : 首先 ， 声 音 必须 穿越 的 距离 对 于 两 只 耳 朱 是 不 一 样 的 ， 距 离 越 远 ， 音 强 越 低 。 第 二 ， 头 部 会 干扰 声 波 ， 并 在 处 于 远 端 的 那 只 
耳 洒 附近 形成 所 谓 的 声 影 。 





图 7-11 双 耳 时 间 差 示意 图 。 双 耳 时 间 差 的 概念 是 指 来 自 于 正中 平面 之 外 的 任何 位 置 的 声音 到 达 两 只 耳 采 的 时 间 不 一 样 


图 片 来 源 : S.Aukstakalnis 





图 7-12 双 耳 音 强 差 示意 图 。 双 耳 音 强 差 的 概念 是 指 来 自 正中 平面 以 外 任何 点 的 声音 到 达 两 只 耳 条 时 的 音 强 不 同 


图 片 来 源 : S.Aukstakalnis 


这 种 现象 最 常见 于 高 频率 的 声音 ， 因 为 当 声 波 的 波长 短 到 一 定 程度 时 ， 就 会 被 头 部 有 效 阻挡 (Heeger，2006; Van 
Wanrooij 等 ，2004) 。 低 频率 (<1500 赫 效 ) 的 波长 比 成 人 头 部 的 平均 宽度 要 大 。 因 此 ， 低 频率 的 声波 实际 上 是 从 头 部 蚁 旺 而 
过 (折射 ) ， 不 产生 声 影 (Harding，2006) 。 


从 某 个 角度 来 说 ，100 赫 兹 的 声波 是 以 10 英 尺 以 下 的 波长 在 空气 中 穿行 。1500 赫 兹 的 声波 是 以 大 约 0.75 英 尺 的 波长 在 空气 中 
穿行 。 


锥 形 干扰 区 


即使 大 脑 能 快速 确定 声音 到 达 时 的 时 间 和 音 强 差异 ， 有 些 情 况 下 仍然 很 难 确定 声音 是 来 自 你 的 前 方 还 是 后 方 。 这 是 因为 ， 如 
果 声 音源 处 于 你 头 部 的 左 侧 或 右 侧 的 某 个 具体 位 置 ， 其 所 产生 的 双 耳 时 间 差 和 双 耳 音 强 差 是 一 样 的 。 这 就 是 所 谓 的 锥 形 干扰 区 ， 
图 7-13 是 这 种 现象 的 示意 图 。 


2. 高 度 线索 


如 果 声 音源 位 于 中 间 路 线 的 任何 位 置 ， 则 其 高 度 判断 需要 非常 复杂 的 处 理 ， 因 为 声音 到 达 的 时 间 和 强度 没有 变化 。 这 就 是 我 


们 要 探讨 的 第 三 类 主要 声音 线索 。 


心 耳 频谱 线索 ， 声 音 工 程 师 称 其 为 头 部 相关 的 转换 功能 ， 是 指头 部 和 肩 部 尺寸 、 形 状 以 及 外 耳 一 一 心 耳 的 曲线 和 管状 结构 
不 同 ， 使 声音 的 频率 分 布 图 发 生 的 变化 。 图 7-14 是 这 个 概念 的 示意 图 。 如 本 章 前 面 的 介绍 ， 心 耳 的 物理 几何 结构 会 把 某 些 频率 
放大 ， 将 其 他 频率 减弱 ， 从 而 改变 频谱 的 形状 。 这 取决 于 外 耳 的 独特 形状 ， 是 一 种 单 耳 线索 一 一 如 果 取决 于 声音 到 达 双 耳 轴 线 
的 不 同位 置 ， 则 属于 双 耳 线索 。 神 经 科学 家 已 经 发 现 大 脑 听 觉 中 心 的 神经 元 似乎 会 按 频 谱 变化 进行 调整 (Letowski 和 
Letowski，2012) 。 








B 


图 7-13” 锥 形 干 扰 区 是 点 的 集合 ， 成 锥 形 。 这 个 锥 形 的 顶点 位 于 听 者 双 耳 的 中 间 。 声 音源 如 果 位 于 这 个 锥 形 区 域内 ， 则 所 产生 的 
双 耳 时 间 差 和 双 耳 音 强 差 相 同 。 人 点 和 B 点 所 产生 的 双 耳 时 间 差 和 双 耳 音 强 差 相 同 。C 点 和 D 点 也 是 如 此 


图 片 来 源 : S.Aukstakalnis 
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图 7-14 心 耳 结构 影响 来 自 不 同方 向 声音 的 频谱 响应 。 右 图 是 处 于 人 正中 平面 的 声音 源 的 频谱 响应 











图 片 来 源 ，Richard 0.Duda 提 供 图 片 ，“3-D Audio for 
HCI”, http://interface.cipic.ucdavis。 http://interface.cipic.ucdavis.edu/sound/tutorial/ 





3. 其 他 线索 
除了 上 面 所 述 的 主要 声音 线索 ， 科 研 人 员 还 识别 了 其 他 几 种 有 助 于 总 体 声音 定位 能 力 的 现象 。 


减弱 ， 或 声音 强度 的 降低 ， 也 能 帮助 定位 声音 ， 因 为 空气 中 的 高 频率 比 低频 率 的 减弱 速度 快 。 因 此 ， 声 音 模糊 则 表示 声音 源 
在 远 处 。 相 反 ， 如 果 高 频率 的 清晰 声音 则 表示 声音 源 较 近 。 混 响 水 平 也 有 助 于 定位 ， 因 为 声音 能 量 的 混 响 需要 时 间 形 成 ， 这 样 声 
音 的 开始 部 分 能 相对 准确 地 指示 声音 源 的 位 置 ， 但 这 种 指示 性 在 刺激 的 过 程 中 会 变 得 越 来 越 弱 (Devore 等 ，2009) 。 


多 普 勒 频 移 对 于 向 听 者 逐渐 靠近 或 逐渐 远离 听 者 的 声音 源 特别 重要 (Schasse 等 ，2012) 。 这 种 声音 源 的 移动 导致 人 高音 到 
低音 (或 从 低音 到 高 音 ) 的 频谱 移动 ， 为 听 者 提供 声音 源 在 不 同时 间 点 的 位 置 的 额外 信息 。 


研究 显示 头 部 移动 可 提高 声音 定位 的 准确 度 (McAnally 和 Martin，2014) ， 特 别 是 当 声 音源 位 于 正中 平面 上 或 锥 形 干扰 区 
内 时 ( 见 本 章 前 面 的 有 关 部 分 ) 。 


7.4 前 庭 系统 


前 庭 系统 对 我 们 的 听觉 没有 帮助 ， 其 作用 是 感知 线 加 速 和 角 加 速 以 及 头 部 的 静止 位 置 。 如 图 7-15 所 示 ， 其 三 个 半圆 形 的 管 
状 结构 相互 垂直 ， 可 以 感知 三 个 空间 方向 的 移动 。 





图 7-15 人 类 前 庭 系 统 的 总 体 结 构 和 关键 特征 示意 图 


图 片 来 源 : Ortisa 在 Wikimedia 的 照片 ， 获 CC 3.0 许 可 ，S.Aukstakalnis 稍 作 修改 


每 个 管状 结构 内 充满 内 淋巴 ， 像 一 个 环 ， 其 基部 称 为 壶 腹 结 构 。 壶 腹 结 构 内 有 一 层 对 运动 极其 敏感 的 毛细 胞 。 当 头 部 在 三 个 
方向 移动 时 ， 管 状 结构 内 的 内 淋巴 刺激 毛细 胞 ， 然 后 毛细 胞 通过 神经 化 学 过 程 产 生 电 脉冲 。 这 些 电 脉冲 经 前 庭 耳蜗 神经 被 传送 至 
脑 干 、 小 脑 和 背 髓 中 的 突 触 。 


另外 一 级 感 党 器 官 ， 椭 圆 囊 和 球 圳 ， 是 小 块 的 毛细 胞 结构 上 覆 一 层 称 为 耳 砂 的 碳酸 钙 晶 体 。 这 两 个 块 状 结构 相互 之 间 成 直 
角 ， 探 测 线性 加 速 。 不 管 头 部 在 哪个 位 置 ， 这 两 个 块 状 结构 之 一 的 纤毛 因 耳 砂 的 重力 而 弯曲 。 同 样 ， 纤 毛 弯 曲 触发 神经 化 学 过 
呈 、 产 生 神 经 脉冲 并 传送 至 脑 干 。 

球 圳 和 椭圆 囊 的 主要 功能 是 使 我 们 根据 地 心 引 力 保持 垂直 方向 感 。 如 果 你 的 头 部 开始 倾 鲜 ， 来 自 这 两 个 感应 结构 的 信号 自动 
触发 姿势 调整 。 


在 考虑 这 两 个 感应 结构 的 功能 时 ， 有 必要 记 住 其 功能 是 通过 耦合 的 方式 实现 的 ， 与 另外 一 只 耳 所 的 结构 配对 作用 。 如 果 这 两 
个 结构 的 信息 有 冲突 ， 比 如 内 淋巴 严重 感染 时 或 内 耳 受 伤 后 ， 便 会 导致 严重 的 眩晕 和 恶心 感 。 


同样 ， 前 庭 系统 通过 与 两 只 眼睛 的 紧密 配合 产生 作用 。 实 际 上 ， 前 庭 系统 的 主要 功能 之 一 是 在 头 部 移动 时 保持 眼球 固定 。 这 
样 你 便 可 以 在 头 部 左右 晃动 或 上 下 运动 时 (比如 你 在 走路 或 跑步 时 ) 保持 你 的 视线 固定 在 空间 内 的 某 个 物体 或 点 上 。 


最 后 ， 前 庭 系 统 的 感官 信息 与 双眼 的 视觉 信息 紧密 耦合 ， 对 此 我 们 在 第 21 章 会 详细 讨论 。 如 果 双 眼 的 视觉 信号 与 前 庭 系 统 
的 信号 冲突 ， 比 如 在 某 些 虚拟 环境 模拟 中 有 很 强 的 运动 视觉 ， 但 没有 来 自 耳 打 的 相应 线索 ， 便 会 导致 所 谓 的 视觉 诱发 的 晕 动 症 
(VIMS) 。 





第 8 章 ” 听觉 显示 净 置 


虽然 虚拟 和 增强 现实 系统 的 视 党 显示 器 件 在 与 使 用 者 沟通 信息 方面 起 主导 作用 ， 但 其 所 提供 的 刺激 局 限于 模拟 环境 中 使 用 者 
正面 方向 的 特征 和 事件 。 如 果 增 加 周密 的 声音 线索 ， 甚 或 丰富 的 三 维 声 景 ， 则 可 以 为 环绕 使 用 者 的 360" 的 虚拟 环境 提供 大 量 的 
额外 数据 。 本 章 我 们 将 探索 用 于 虚拟 和 增强 现实 系统 的 各 种 听觉 显 示 装 置 ， 分 析 其 功能 方面 的 差异 和 各 自 最 适用 的 应 用 环境 。 


8.2 结论 


如 果 应 用 得 当 ， 在 虚拟 和 增强 现实 应 用 中 增加 丰富 的 三 维 听 觉 声场 对 身 历 实 境 感 、 可 用 性 和 总 体 用 户 体验 有 非常 大 的 帮助 。 
本 章 我 们 探索 了 一 些 可 以 实现 这 个 目标 的 最 常见 的 、 目 前 还 处 在 快速 发 展 阶段 的 音频 显示 解决 方案 和 技术 。 如 需 进 一 步 了 解 这 方 
面 的 内 容 ， 建 议 读 者 参考 附录 A 和 附录 B。 


第 9 草 ” 触 完 的 机 制 


我 们 可 以 通过 触觉 感觉 纹理 和 温度 、 振 动 和 滑动 ， 触 党 是 我 们 的 身体 与 物理 世界 的 机 械 交 互 界面 。 我 们 可 以 利用 这 种 能 力 在 
基于 计算 机 的 模拟 环境 中 进一步 增加 现实 感 。 要 了 解 如 何 把 触觉 感官 反馈 能 力 应 用 于 虚拟 和 增强 现实 模拟 ， 就 有 必要 先 了 解 我 们 
如 何 通 过 触觉 感知 现实 世界 。 本 章 我 们 将 探索 触觉 的 机 制 ， 其 非凡 的 能 力学 围 ， 以 及 触觉 和 本 体感 觉 线索 如 何 增强 视觉 和 听觉 。 


9.1 触觉 的 科学 


想象 一 下 朋友 的 抚摸 、 衣 服 中 不 同 纤维 的 纹理 ， 或 是 你 挥动 高 尔 夫 球 杆 或 棒球 棒 时 所 感受 到 的 力量 。 


能 有 这 些 及 其 他 的 感觉 ， 是 因为 人 体 配 备 了 一 个 极其 复杂 的 感应 器 和 神经 通道 系统 ， 我 们 大 脑 的 不 同 区 域 通 过 协同 作用 可 以 
在 一 秒 钟 内 探测 、 传 递 和 处 理 数 干 条 信息 ， 这 些 信息 涉及 我 们 所 在 的 物理 环境 、 作 用 于 我 们 身上 的 外 力 ， 以 及 我 们 身体 的 位 置 、 
方向 和 运动 。 这 些 统称 为 肉体 感觉 系统 ， 其 中 有 两 个 子 系统 与 本 章 的 主题 尤其 相关 。 第 一 个 子 系统 是 负责 探测 和 感知 机 械 刺激 的 
能 力 ， 包 括 代 表 外 部 压力 、 振 动 、 颤 动 、 纹 理 、 皮 肤 拉 伸 等 的 刺激 。 这 称 为 触觉 (tactile sense) 。 第 二 个 子 系统 称 为 动 觉 
(kinesthetic sense) ， 这 个 感官 能 力 使 我 们 能 探测 和 感知 关节 角度 以 及 其 他 作用 于 肌肉 和 肌 有 圣 上 的 力 。 这 两 种 感官 的 结合 一 
般 称 为 幻 触 (haptics) 。 








过 注释 “ 幻 触 “这 一 术语 曾 在 虚拟 现实 、 We lean 领域 之 间 造 成 了 很 大 的 困惑 ， 以 及 长 时 间 的 争辩 。 部 分 是 因为 "群众 同感 “的 


现象 ， 有 关 这 个 术语 的 正确 使 用 有 非常 大 的 分 上 层 。* 幻 触 “ 到 底 是 触觉 和 动 觉 的 统称 ?还 是 指 一 种 处 理 触 觉 a gd 
也 许 还 包括 并 不 为 人 熟知 的 触觉 / 力 反馈 系统 ? 六 清晰 起 见 ， 本 书 对 这 个 术语 持 审慎 态度 ， 大 多 数 情况 下 只 在 有 关 生 理学 的 问题 时 才 使 用 这 个 


术语 。 






















































































这 两 个 系统 在 本 章 都 会 介绍 。 这 对 于 了 解 把 触 党 和 力 反馈 技术 应 用 于 虚拟 和 增强 现实 系统 非常 关键 。 


我 们 的 探索 将 从 皮肤 开始 ， 因 为 这 类 感觉 大 多 数 源 于 我 们 肉体 的 这 个 部 位 。 


9.3 结论 


本 章 我 们 探讨 了 实现 触觉 的 主要 机 制 ， 既 有 产生 皮肤 触觉 以 帮助 大 脑 理解 物体 和 我 们 周围 环境 的 细微 物理 特征 的 感应 器 ， 也 
有 能 让 感知 作用 于 身体 上 的 较 大 机 械 力 的 感应 器 。 在 第 10 章 我 们 将 探索 一 系列 运用 这 些 过 程 和 机 制 实现 更 直 党 性 的 人 机 界面 的 
技术 和 装置 。 


第 10 章 ” 触 区 和 力 反 馈 效 置 


虽然 在 虚拟 和 增强 现实 应 用 中 最 受 天 注 的 是 视频 和 音频 显示 装置 ， 但 在 过 去 几 年 ， 利 用 触 党 和 运动 感觉 优势 的 人 机 交互 界面 
在 稳定 增长 。 不 过 还 有 些 技术 难题 有 待 解决 。 本 章 我 们 将 探讨 一 些 这 类 装置 ， 重 点 介绍 其 底层 所 用 的 技术 、 在 刺激 实际 的 触觉 运 
动感 觉 线索 方面 的 性 能 范围 ， 以 及 开发 商 们 在 试图 运用 人 的 这 种 感觉 机 制 时 所 面临 的 障碍 。 


10.1 触 错 觉 


本 书 介 绍 先进 的 人 机 交互 界面 技术 涉及 的 三 种 主要 的 感官 通道 ， 其 中 视觉 和 听觉 这 两 个 通道 一 直 是 产品 开发 中 最 受 关 注 的 。 
其 中 一 个 原因 是 ， 在 现实 生活 中 这 两 个 通道 所 提供 的 信息 最 多 ， 我 们 对 这 两 个 通道 的 依赖 性 高 ; 另 一 原因 是 ， 其 他 更 先进 的 市 场 
领域 在 解决 显示 装置 的 分 辨 率 和 感应 器 的 潜伏 时 间 等 方面 存在 技术 壁 爹 ;以 及 对 这 两 个 通道 的 总 体 需 求 要 高 。 相 比 之 下 ， 有 关 触 
党 应 用 技术 的 商业 开发 要 少 得 多 。 


我 们 在 第 9 章 中 介绍 过 ， 肉 体感 觉 系 统 有 两 个 主要 的 子 系统 帮助 我 们 形成 总 体 触 沉 。 第 一 个 是 触觉， 其 作用 是 探测 和 感知 机 
械 刺 激 ， 比 如 外 部 压力 、 振 动 、 颤 动 、 纹 理 和 皮肤 张力 。 第 二 个 是 运动 感觉 ， 能 让 我 们 探测 压力 和 其 他 作用 于 肌肉 和 妥 内 的 力 。 
正 因为 这 两 个 子 系统 在 各 自 所 能 探测 的 各 种 机 械 刺激 方面 具备 十 分 专 一 的 功能 ， 所 以 在 人 工 模拟 时 也 需要 高 度 专 门 化 的 技术 ， 从 
而 产生 能 在 虚拟 和 增强 现实 应 用 中 有 效 运用 触觉 所 需 的 各 种 机 械 刺激 。 


为 此 ， 本 章 所 介绍 的 产品 实现 技术 的 案例 分 为 两 大 类 : 主要 是 提供 触觉 反馈 的 案例 和 提供 力 (运动 ) 反馈 的 案例 。 像 本 书 中 
介绍 产品 实现 技术 的 其 他 几 章 一 样 ， 这 里 所 介绍 的 解决 方案 只 是 代表 了 世界 各 地 的 政府 、 大 学 和 公司 实验 里 正在 进行 的 几 十 个 开 
发 项 目的 一 部 分 。 


10.2 ” 触 澡 反馈 装置 


本 书 的 所 有 读者 应 该 都 体验 过 移动 装置 在 手中 喻 喻 作 响 的 感觉 ， 或 是 几 十 款 不 同 的 游戏 控制 器 和 输入 装置 的 某 一 款 摩擦 振动 
的 感觉 。 这 种 感觉 通常 是 由 一 种 称 为 偏心 旋转 质量 (ERM ，eccentric rotating mass) 振动 马达 的 机 械 动作 器 产生 的 。 如 图 10- 
1 所 示 ， 偏 心 旋转 质量 振动 马达 是 一 种 微型 直流 马达 ， 其 轴 上 装 有 一 个 偏心 的 质量 。 当 轴 转 动 (通常 以 非常 高 的 速度 ) 时 ， 这 个 
偏心 的 质量 产生 与 驱动 轴 旋 转轴 线 垂 直 的 离心 力 。 这 个 离心 力 被 传送 到 安装 于 马达 上 的 物体 或 零件 ， 从 而 形成 振动 。 





这 种 装置 设计 简单 ， 而 且 极 其 有 效 ， 通 过 改变 施加 在 马达 上 的 电压 就 可 以 很 容易 地 控制 速度 ， 从 而 控制 离心 力 大 小 和 振动 频 
率 。 偏 心 旋转 质量 马达 有 不 同 的 尺寸 和 振动 力 规格 ， 这 样 就 可 以 产生 不 同 的 触感 。 


Ts 马达 外 过 
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图 10-1 偏心 旋转 质量 振动 马达 分 解 图 





图 片 来 源 : Precision Microdrives Haptic Motors (www.PrecisionMicrodrives .cor) 


由 于 不 断 地 追求 在 移动 计算 平台 和 输入 装置 中 集成 更 多 的 零件 和 性 能 ,现在 已 开发 了 一 种 称 为 煎饼 式 振动 马达 的 偏 旋转 质量 
马达 。 如 图 10-2 所 示 ， 敲 饼 式 马 达 的 功能 原理 与 其 他 偏心 旋转 质量 振动 马达 一 样 ; 一 个 偏心 质量 圆 盘 在 密封 的 落 外 壳 内 旋转 所 
产生 的 离心 力 被 传送 到 安装 在 马达 上 的 物体 或 部 件 ， 从 而 形成 振动 (Precision，2015) 。 


煎饼 式 振动 马达 有 几 个 优点 ， 具 体 取决 于 应 用 环境 。 最 明显 的 优点 是 尺 十 小， 没有 外 部 运动 部 件 ， 这 样 就 可 以 在 零件 集成 密 
度 高 的 设计 结构 中 充分 利用 空间 。 


还 有 另 一 种 称 为 线性 谐振 器 (LRA) 的 触发 器 ， 也 用 于 产生 振动 触 党 线索。 如 图 10-3 所 示 ， 在 弹簧 和 音 圈 之 间 有 一 个 磁性 质 
量 。 当 音 圈 通电 ， 磁 性 质量 在 力 的 作用 下 沿 同一 个 轴线 顶 住 弹 簧 。 改 变 线圈 的 电流 方向 则 会 形成 反 向 运动 (这 是 个 交流 电 的 装 
置 ， 而 偏心 旋转 质量 振动 马达 是 直流 电 装 置 ) 。 线 性 谐振 器 与 裔 饼 式 振动 马达 类 似 ， 尺 寸 小 、 没 有 外 部 运动 部 件 ， 是 小 尺寸 触 党 
线索 生成 装置 的 理想 选择 。 
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图 10-2 ”前 饼 式 振 动 马 达 (偏心 旋转 质量 振动 马达 的 一 种 ) 分 解 图 


图 片 来 源 : Precision Microdrives Haptic Motors (www.PrecisionMicrodrives .com) 





图 10-3 ”线性 谐振 器 (振动 马达 的 一 种 ) 分 解 图 


图 片 来 源 : Precision Microdrives Haptic Motors (www.PrecisionMicrodrives .com) 


偏心 旋转 质量 和 线性 谐振 器 有 各 种 不 同 的 组 合 ， 比 如 本 节 接 下 来 介绍 的 两 款 装置 。 


10.2.1 Gloveone 


NeuroDigital Technologies 公 司 (西班牙 阿尔 梅里 亚 ) 开发 的 Gloveone 交 互 界面 是 大 众 市 场 上 迄今 为 止 最 有 发 展 前 景 的 


基于 触觉 反馈 的 输入 装置 。 经 过 几 年 的 开发 ， 这 种 轻型 的 手套 集成 了 很 多 感觉 器 和 振动 触 党 触 帮 器， 可 以 通过 与 在 电脑 屏幕 上 或 
在 头 戴 式 显示 装置 内 看 到 的 虚拟 物体 互动 而 形成 具体 触觉 。 如 图 10-4 所 示 ，Gloveone 的 部 件 可 分 为 以 下 子 系统 。 





触发 器 一 Gloveone 集 成 了 10 个 微型 线性 谐振 器 : 每 个 指 尖 1 个 ， 手 掌 有 5 个 《阵列 ) 。 


MU (惯性 映射 单元 ) 感觉 器 一 (6) 三 轴 惯 性 映射 单元 (CIMU) ， 其 作用 是 跟踪 手指 的 弯曲 、 
的 (1) 九 轴 三 轴 4 侍 性 映射 单元 CIMU) 跟踪 。 


传导 织物 一 在 拇指 、 食 指 和 中 指 的 指 尖 以 及 手掌 靠近 拇指 根部 的 部 位 设 有 传导 性 的 针织 织物 ， 其 作用 是 通过 手势 ( 捏 、 拳 头等 ) 触发 命令 。 
控制 器 一 主 控制 器 安装 在 手背 位 置 ， 集 成 有 该 装置 的 母 板 、 蓝 牙 4.0 感 应 器 、IMU〔 惯 性 映射 单元 )、USB 端 口 、 电 源 开关 和 锂 聚 合 物 电 池 。 


























申 展 和 侧身 运动 。 手 部 整体 方向 通过 控制 器 内 
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图 10-4 ”NeuroDigital Technologies 开 发 的 GloveOne 交 互 界 面 集成 了 10 个 触发 器 (位 于 指 尖 和 手掌 部 位 ) ， 产 生 通 真 的 触觉 








图 片 来 源 : NeuroDigital Technologies 








这 10 个 振动 感觉 触发 器 都 能 响应 1024 种 强度 和 频率 ， 所 以 能 产生 很 大 范围 (10x 1024 种 个 别 设置 或 组 合 ) 的 触觉 。 不 过 在 
撰写 本 书 时 ， 其 用 于 跟踪 手指 运动 和 手 部 转动 以 及 跟踪 其 位 置 (X、Y、Z) 的 IMU (惯性 映射 单元 用 的 是 第 三 方 技术 ， 比 如 
Leap Motion Controllerlntel RealSense 和 Microsoft Kinect。 据 制造 商 说 ， 其 部 分 原因 是 需要 把 感应 器 的 潜伏 时 间 ( 整 机 ) 
控制 在 目前 10 ~ 15 毫 秒 的 范围 内 。 


该 装置 的 软件 平台 ，GloveOne Manager， 可 为 该 装置 提供 总 体 控制 ， 并 可 进行 广泛 的 开发 和 测试 。 图 10-5 是 该 软件 平台 
的 屏幕 截图 。 


该 装置 最 初 定位 的 目标 市 场 是 游戏 和 娱乐 市 场 ， 但 已 经 在 尝试 其 他 领域 的 应 用 。 比 如 ，2015 年 年 底 宣 布 NeuroDigital 
Technologies 与 伦敦 国王 大 学 联合 开发 的 Laparoscopy Virtual Trainer (腹腔 镜 检 查 虚 拟 培训 装置) ， 其 仿真 程序 将 用 到 
GloveOne 装 置 (Cuthbertson，2015) 。 
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图 10-5 ”GloveOne Managet 软 件 平台 的 屏幕 截图 (触发 器 设备 和 测试 模式 ) 











图 片 来 源 : NeuroDigital Technologies 





10.2.2 TeslaSuit 


将 电 脉 冲 用 于 身体 表面 以 传送 触觉 信号 ， 这 种 技术 一 般 称 为 电子 触觉 或 电子 皮肤 仿真 (Bobich 等 ，2007; Kajimoto 
等 ，2004; Kaczmarek 和 Haase，2003; Kaczmarek 等 ，2000; Menia 和 Van Doren，1994; Higashiyama 和 
Rollman，1991; Tashiro 和 Higashiyama，1981) 。 虽 然 对 这 些 技术 研究 了 几 十 年 ， 但 研究 努力 都 集中 在 感 党 替换 的 应 用 (用 
一 种 感官 的 功能 或 输出 作为 另 一 个 感官 的 刺激 ) ， 提 高 修复 术 以 及 遥控 机 器 人 的 功能 和 可 用 性 (Danilov 等 ，2008; Tang 和 
Beebe，2006; Monkman 等 ，2003) 。 


电子 触觉 仿真 与 神经 肌肉 仿真 紧密 相关 ， 后 者 是 广泛 用 于 医学 和 职业 体育 的 一 种 治疗 方法 ， 是 用 电 脉冲 刺激 所 选择 的 肌肉 群 
(Doucet 等 ，2012; Sheffler 和 Chae，2007; Lake，1992) 。 这 项 技术 在 很 多 其 他 应 用 领域 也 有 运用 ， 包 括 定向 、 航 行 、 租 
内 通信 和 前 庭 替换 (Van Erp 和 Self，2008; Danilov，2008; Zlotnik，1988) 。 


到 目前 为 止 ， 在 娱乐 行业 还 很 少 有 有 效 运用 电 触 觉 和 神经 肌肉 能 力 的 案例 ， 在 虚拟 和 增强 现实 系统 内 作为 产品 实现 技术 的 案 
例 就 更 少 。 其 部 分 原因 是 微型 化 方面 的 技术 难度 、 令 人 望 而 生 晨 的 成 本 ， 和 对 几 个 相关 的 生理 因素 的 了 解 不 够 ， 比 如 电 触 党 和 机 
械 性 触觉 感觉 域 在 大 小 和 功能 方面 的 差异 ， 以 及 在 身体 不 同 部 位 的 变化 情况 。 但 是 ， 以 上 障碍 正在 逐步 得 到 解决 ， 在 提高 触觉 交 
互 设 计 方面 有 了 进一步 的 进展 。 


比如 ， 图 10-6 所 示 的 Teslasuit DK1 系 统 就 集成 了 最 新 的 技术 ， 这 个 系统 由 Tesla Studios 公 司 (苏格兰 圣 安 德 鲁 ) 开发 。 





图 10-6 ”全身 尺寸 的 TeslaSuit DK1 是 模块 化 的 设计 ， 包 括 马甲 、 裤 子 、 皮 带 ( 带 中 央 控 制 单元 ) 和 手套 。 整 个 系统 目前 集成 了 60 


个 电 触觉 仿真 点 











妈 片 来 源 : Tesla Studios 





如 第 9 章 所 述 ， 人 体 皮肤 布 满 了 各 种 专门 的 皮肤 触觉 感官 受 体 的 复杂 网 络 。 当 有 机 械 刺 激 时 ， 这 些 感官 受 体 将 小 的 电 脉 冲 沿 
传 入 神经 传送 到 中 枢 神 经 系统 。 如 图 10-7 所 示 ，TeslaSuit DK1 用 内 许 在 衣服 纤维 内 的 微型 电极 模拟 这 些 传 入 神经 纤维 ， 以 向 使 
用 者 的 皮肤 〈 几 十 个 按 策略 选择 的 点 ) 提供 微小 的 、 受 制 的 、 无 痛觉 的 脉冲 。 





图 10-7 TeslaSuit DK1 内 电 脉 冲模 拟 点 分 布 示意 图 











图 片 来 源 : Tesla Studios 





用 一 个 软件 套件 (制造 商 称 之 为 触觉 编辑 器 ) 控制 脉冲 规律 的 编码 ， 从 而 使 用 者 可 为 各 种 应 用 需求 自 定义 自己 的 触觉 。 通 过 
改变 仿真 频率 、 脉 冲 宽度 /持续 时 间 、 强 度 / 幅 度 、 斜 坡 响 应 时 间 和 脉冲 规律 等 因素 ， 可 以 产生 很 多 种 不 同 的 感觉 ， 模 拟 实际 的 身 
体 刺激 。 


全 身 尺寸 的 TeslaSuit 由 多 个 部 件 组 成 ， 包 括 上 衣 、 裤 子 、 皮 带 和 手套 。 目 前 ， 完 整 的 套装 集成 了 60 个 仿真 点 。 皮 带 内 有 一 
个 高 性 能 的 微型 控制 器 ， 可 通过 蓝牙 4LE (低能 耗 ) 连接 与 套装 的 其 他 组 件 通信 。 


Tesla Suit DK1 还 集成 了 多 个 九 轴 IMU (惯性 映射 单元 ) 感应 器 ( 见 第 11 章 ) 以 适应 捕捉 运动 的 需求 。 


10.2.3 ” 幻 触 音频 和 触觉 声 转 导 


第 9 章 所 讨论 的 触 党 和 运动 感觉 感官 受 体 也 可 以 用 声音 刺激 。 比 如 ， 如 果 看 电影 时 能 得 到 声音 效果 产生 的 触觉 ， 则 肯定 会 得 
到 更 有 吸引 力 、 更 身 临 其 境 式 的 体验 。 比 如 飞机 在 低空 龙 鸣 、 直 升 《 机 靠近 时 的 巨 响 ， 或 是 爆炸 ， 让 地 板 和 座位 都 振动 起 来 。 实 
际 上 ， 有 很 多 种 高 度 专业 化 的 电子 机 械 装 置 可 以 将 普通 扬声器 所 产生 的 低频 率 音频 转化 为 振动 。 这 种 器 件 称 为 触 党 音频 转 导 器 或 
低音 搅拌 器 ， 用 来 驱动 更 广阔 的 表面 ， 而 不 是 扬声器 外 壳 。 这 种 器 件 广泛 用 于 军事 模拟 应 用 、 夜 总 会 的 舞池 ， 以 及 迪斯尼 和 环境 
影 城 等 游乐 园 。 


因为 过 去 几 年 对 虚拟 和 增强 现实 的 兴趣 发 生 了 戏剧 性 的 复苏 ， 很 多 这 些 装置 在 游戏 和 娱乐 行业 找到 了 新 应 用 市 场 。 


10.2.4 SubPac 





SubPac S2 ( 见 图 10-8) 是 一 款 可 以 绑 在 椅子 上 的 触觉 音频 转 导 器 ， 最 初 是 为 音频 工程 师 和 DJ 设计 ， 因 为 这 些 人 群 需要 条 


身体 验 他 们 的 音频 产品 的 整个 音域 ， 比 如 音 轨 上 低沉 、 龙 鸣 的 低音 线 ， 或 是 添加 到 电影 上 的 特殊 音响 效果 。SubPac 的 频率 响应 
范围 是 5 ~ 130 赫 效 (第 7 章 中 介绍 过 ， 人 的 听 党 阔 值 是 20 赫 效 ) ， 包 含 了 一 套 把 低频 率 振动 传送 到 你 身体 的 转 导 器 ， 以 让 使 用 者 
可 以 实 实在 在 地 “感觉 ”到 声音 。 


对 于 游戏 爱好 者 或 虚拟 现实 发 烧 友 ，SubPac 因 其 可 以 在 低频 率 声音 效果 上 增加 非常 逼真 的 触觉 和 深度 而 持续 获得 好 评 。 标 
准 的 低音 扬声器 会 让 你 的 墙壁 摇动 ，SubPac 则 不 同 ， 其 本 身 相 对 比较 安静 。 再 重复 一 次 ， 你 实际 上 并 不 会 通过 该 装置 听 到 声 


音 ， 你 是 通过 触 党 感觉 到 声音 。 


subPac 的 表面 材料 采用 柔软 的 氯 ] 橡胶 ， 其 外 形 设 计 非 常 符合 人 体 工 程 学 的 要 求 ， 因 此 能 最 大 限度 地 与 使 用 者 的 背部 接 
触 。SubPac 通 过 一 个 三 点 捆绑 系统 固定 在 椅子 上 。 一 个 小 型 的 控制 单元 可 通过 标准 的 3.5 毫 米 立 体 声 端口 或 蓝牙 4.0 A2DP 制 式 
接收 音频 输入 。 还 有 一 个 可 与 头 戴 式 耳机 连接 的 输出 端口 。 


SubPac 还 为 需要 移动 解决 方案 的 应 用 生产 了 一 个 称 为 M2 (移动 ) 的 穿戴 式 版 本 ， 其 性 能 和 特点 与 捆绑 式 相 同 。 


Woojer 是 另 一 款 在 虚拟 和 增强 现实 游戏 领域 相当 受 欢 迎 的 触 党 音频 转 导 器 。 这 是 一 款 可 穿戴 式 的 移动 配置 ， 由 Woojer 有 限 
公司 (以 色 列 特拉维夫 ) 生产 。 如 图 10-9 所 示 ，Woojer 是 一 款 静 音 、 穿 戴 式 、 复 调 (同时 生产 很 多 种 声音 ) 转 导 器 ， 比 火柴 盒 
稍 大 一 点 ， 可 用 一 根 弹性 绑 带 使 之 与 使 用 者 的 胸部 直接 接触 ， 或 用 磁铁 将 其 安装 在 衬衣 上 ， 或 卡 在 皮带 上 。 


SUBPAC M2 
(穿戴 式 ) 


SUBPAC S2 
( 育 靠 式 ) 





图 10-8 SubPac S2 是 现 有 功能 最 强大 、 最 精确 、 安 装 在 座 椅 上 的 触觉 低音 解决 方案 之 一 。SubPac M2 集成 了 一 个 专 有 触觉 转 导 
器 ， 和 在 穿戴 式 版 本 中 集成 的 相同 


图 片 来 源 : Marwan Balad (http://mar-one.tumblr.com/) 





图 10-9 ”Woojer 是 一 款 穿 戴 式 触觉 装置 ， 采 用 获得 专利 的 复 调 转 导 器 将 丰富 的 、 充 满 感情 的 次 低音 传送 进 身体 ， 让 使 用 者 通过 触 


沉 感 到 声音 


人 AS 














图 片 来 源 : Woojer Born to FEEL 


据 制 造 商 说 ，Woojer 的 原理 是 基于 知觉 推理 。 知 觉 推理 是 指 人 的 大 脑 根据 预期 推理 感觉 刺激 的 能 力 ， 这 里 的 预期 是 通过 先 
前 的 经 验 所 建立 的 内 部 神经 表象 而 形成 的 (Woojer，2013; Aggelopoulos，2015) 。 


这 款 产品 有 一 个 非常 独特 的 特点 ， 在 产生 复 调 振动 时 没有 用 到 任何 软件 或 算法 。 这 意味 着 潜伏 时 间 很 小 ( 约 1 毫秒 ) 。 潜 伏 
时 间 是 接收 到 音频 输入 信号 到 产生 相应 振动 之 间 的 时 间 ， 这 样 就 消除 了 耳 洒 的 听觉 和 身体 的 触觉 之 间 的 去 耦 。 


Woojer 1.0 的 规格 包括 : 频率 响应 范围 0 ~ 500 赫 效 ， 一 个 三 工 位 的 振动 水 平 控制 开关 ， 一 个 可 充电 的 锂 离 子 电池 ， 一 个 微 
型 USB 充 电 端 口 ， 一 个 用 于 指示 开 / 关 状态 和 过 载 的 绿色 /红色 LED， 一 个 与 振动 同步 闪 亮 的 蓝 色 LED， 以 及 一 对 3.5 宫 米 模拟 音频 
端口 (一 个 用 于 播放 器 ， 一 个 用 于 头 戴 式 耳机 ) 。Woojer 2.0 稍 小 一 点 ， 采 用 了 蓝牙 4.0 技 术 以 淘汰 连接 线 。 


还 有 另外 一 类 用 于 固定 在 物体 或 表面 (比如 座位 、 沙 发 或 地 面 ) 上 的 触觉 转 导 器 。 大 多 数 这 种 转 导 器 内 置 一 个 由 绕组 或 磁铁 
驱动 的 轻型 驱动 器 ， 以 提供 高 保 真 度 的 音频 -动作 增强 。 在 高 性 能 仿真 和 培训 | 领域， 提供 这 种 触觉 和 运动 感 党 线索 可 以 帮助 形成 
准确 的 心理 运动 反射 ， 使 培训 体验 变 得 更 丰富 。 


科罗拉多 州 李 特 尔 顿 的 Clark Synthesis 公司 是 为 这 个 市 场 生产 高 性 能 转 导 器 的 龙头 企业 之 一 。TST329 Gold 
Transducer ( 见 图 10-10) 是 这 个 公司 生产 的 几 款 转 导 器 之 一 ， 用 于 世界 各 地 的 视频 /音频 应 用 ， 比 如 电影 院 和 商用 /军用 车 辆 模 


拟 装置 。 

















图 10-10 ”Clatk Synthesis 公司 的 TST329 Gold Transducer 是 一 款 高 保 真 度 的 音频 -运动 增强 装置 ， 用 于 世界 各 地 的 专业 仿真 和 培训 应 
用 


图 片 来 源 : Clark Synthesis 公 司 


这 类 触觉 声音 转换 器 通常 需要 一 个 放大 器 才能 正常 工作 。 对 于 Clark Synthesis 公司 的 TST329 Gold 而 言 ，125 ~ 150 瓦 特 、4 
欧姆 阻抗 的 规格 就 可 实现 全 音域 的 性 能 。 该 装置 的 频率 响应 装置 为 直径 8 英寸 、 高 2.25 英 寸 ， 其 工作 范围 是 10 ~ 17 幸 效 。 


10.3” 力 反馈 装置 


力 反馈 装置 通过 向 使 用 者 施加 接触 力 、 振 动 和 运动 而 与 触感 耦合 (Robles-De-La-Torre，2010) 。 为 提供 副 真 的 体验 并 与 
人 体 性 能 相 匹配 ， 这 种 装置 施加 的 最 大 力度 必须 达到 或 超过 人 所 能 产生 的 最 大 力 (Raisamo 和 Raisamo，2007) 。 本 节 我 们 探 
讨 目前 虚拟 和 增强 现实 系统 中 所 集成 的 各 种 创新 的 力 反馈 解决 方案 。 


10.3.1 CyberGlove Systems 公 司 的 CyberGrasp 


有 无 数 的 非常 专业 的 工业 和 国防 应 用 需要 人 类 操作 员 能 与 电脑 生成 的 模型 进行 人 工 互动 ， 并 通过 触感 感知 这 些 模型 ， 或 是 精 
确 地 控制 机 器 人 灵敏 的 终端 效应 器 。 例 如 ， 载 人 航天 各 个 领域 的 复杂 模拟 和 培训 场景 ， 用 于 在 安全 距离 之 外 搬运 危险 材料 的 遥控 
机 器 人 应 用 。CyberGlove Systems 公 司 (加 利 福 尼 亚 州 圣何塞 ) 生产 的 CyberGrasp 是 全 球 各 地 在 执行 这 类 危险 任务 时 首选 的 
力 反馈 装置 之 一 。 


如 图 10-11 所 示 ，CyberGrasp 是 一 款 轻型 骨架 形 力 反 射 装置 ， 通 过 一 个 用 网 络 (连接 线 ) 为 每 个 手指 提供 阻力 反馈 一 一 耳 
网 络 将 桌面 单元 的 5 个 触发 器 与 该 装置 的 指 尖 部 位 连通 。CyberGrasp 在 每 个 手指 上 能 施加 的 最 大 力 是 12 牛 顿 (等 于 大 约 2.7 磅 力 
(IbF) ) 。CyberGrasp 工 作 时 在 指 尖 运动 的 整个 学 围 以 大 概 垂直 于 指 尖 的 方向 施加 力 (或 手指 约束 力 ) 。 整 个 装置 的 可 设置 性 
很 高 ， 每 个 手指 可 独立 编程 。 





图 10-11 CyberGrasp 是 一 款 轻型 骨架 形 力 反 射 装置 ， 安 装 在 CyberGlove 数 据 手 套 上 ， 为 使 用 者 的 指 尖 提供 阻力 反馈 





图 片 来 源 : CyberGlove Systems/CyberGrasp® 





CyberGrasp 的 大 多 数 使 用 者 还 需要 精确 测量 手指 的 弯曲 和 伸展 ， 因 为 这 样 才 可 以 控制 虚拟 人 物 或 遥控 系统 。 在 这 方面 ， 该 
制造 商 也 是 数据 手套 输入 装置 的 首选 全 球 供应 商 之 一 ， 比 如 图 10-11 所 示 的 CyberGlove。 第 12 章 中 会 详细 介绍 CyberGlove 的 升 
级 版 。 


CyberGrasp 的 使 用 不 局 限于 固定 的 实验 室 或 工作 场所 。 对 于 人 类 操作 员 需 要 移动 的 应 用 环境 ， 桌 面 触发 器 和 控制 器 可 装 在 
专门 为 此 设计 的 专用 背包 内 。 


10.3.2 Geomagic Touch X 幻 触 装置 


不 论 你 是 模型 制作 者 还 是 外 科 医 生 ， 是 化 学 家 还 是 工程 师 ， 在 很 多 应 用 领域 内 你 都 需要 建立 、 操 控 、 雕 琢 、 调 整 复杂 的 三 维 
结构 ， 或 是 通过 其 他 方式 与 其 交互 。 对 于 外 科 医 生 ， 可 能 是 在 手术 室内 进行 实际 手术 前 练习 如 何 切除 骨头 或 调整 其 外 形 ; 对 于 化 
学 家 ， 可 能 是 尝试 把 药物 的 分 子 输入 到 感官 受 体内 ;对 于 机 械 工程 师 ， 则 可 能 是 操作 复杂 的 虚拟 装置 。 


对 于 这 些 应 用 环境 ， 有 很 多 双向 、 非 常 直 觉 性 的 力 反 馈 装置 可 以 生产 高 分 辩 率 的 高 力度 以 实现 与 数字 模型 的 密切 肢体 互动 。 
也 有 较 小 一 些 的 ，Geomagic 公 司 ( 北 卡罗来纳 州 莫 里 斯 维尔 ) 的 Touch X 台 式 幻 触 装置 是 其 中 最 常用 的 之 一 。 


如 图 10-12 所 示 ，Touch X 是 一 款 力 反 射 机 器 人 幻 触 装置 ， 带 有 一 个 钢笔 状 的 铁 针 。 该 污 置 工作 时 ， 使 用 者 可 自由 移动 铁 
针 ， 其 移动 轨迹 通过 6 个 自由 度 (DOF) 跟踪 ， 从 而 在 屏幕 工具 上 形成 精确 的 对 应 移动 。 屏 幕 工具 与 几何 对 称 的 交互 形成 实时 、 
逼真 、 高 保 真 度 、 低 摩擦 的 力 反 馈 ， 并 沿 每 个 轴 向 (X，Y，Z) 输出 到 铁 针 。 





图 10-12 ”Geomagic 的 Touch 义 是 一 款 向 使 用 者 的 手 部 施加 力 的 台式 幻 触 装置 ， 让 使 用 者 通过 操控 屏幕 上 的 对 象 可 通过 触觉 感觉 到 
虚拟 物体 和 逼真 的 触觉 
图 片 来 源 : 3D Systems 


如 图 10-13 的 专利 图 片 (#6985133) 所 示 ， 触 发 器 和 强 索 传动 装置 能 产生 力 ， 从 而 驱动 每 个 转轴 。 在 正常 工作 模式 下 ， 访 
装置 可 实现 1100 dpi (每 英寸 的 点 ， 即 0.023 毫 米 ) 的 定位 分 辩 率 。 在 铁 针 上 施加 的 最 大 力 是 7.9 牛 顿 (等 于 大 约 1.8 磅 力 
(IbF) ) 。 





Gh 


图 


图 10-13 ”Geomagic Touch XX 人 台式 幻 触 装置 内 部 工作 机 制 的 专利 示 


10.4 结论 


通过 本 章 我 们 可 以 看 到 ， 在 虚拟 和 增强 现实 系统 中 能 在 用 户 界面 集成 触觉 和 反馈 功能 。 虽 然 这 种 技术 有 很 大 的 进展 ， 但 仍然 
存在 巨大 的 挑战 ， 因 为 生理 信息 通路 性 质 独特 、 复 杂 ， 而 且 人 体 所 能 探测 到 的 刺激 范围 十 分 巨大 。 以 低 成 本 的 方式 精确 地 产生 刺 
激 (压力 变化 、 颤 动 、 纹 理 、 剪 切 力 、 锐 边 等 ) ， 并 且 集 成 这 些 功能 的 装置 尺寸 合理 一 可 以 拿 在 手 上 ， 放 在 桌面 上 ， 或 穿 在 
身上 一 一 这 项 工程 和 开发 任务 仍然 面临 着 巨大 的 技术 壁垒 。 





开发 和 生产 消费 级 的 触觉 和 力 反馈 装置 的 另 一 项 挑战 来 自 于 知识 产权 方面 的 壁垒 ， 不 论 是 大 公司 还 是 小 公司 。2001 年 后 发 
布 的 几 项 强大 、 影 响 深远 的 专利 封锁 了 很 多 把 触觉 和 力 反 馈 效 果 应 用 到 各 种 控制 器 和 移动 装置 的 技术 路 径 ， 让 很 多 对 于 那些 不 愿 
意 或 没有 能 力 支付 专利 许可 费用 的 公司 的 一 些 前 景 看 好 的 产品 只 能 束之高阁 。 这 些 专 利 包括 6424333、6275213、6429846 (及 
后 续 更 新 7592999、7982720、8031181、8059105) 和 7969288。 实 际 上 ， 对 微软 、HTC、 索 尼 、 摩 托 罗拉 等 公司 的 侵权 有 很 
多 起 诉 (至 于 对 摩托 罗拉 的 起 诉 ，Google 收 购 后 支付 了 许可 费 ) 。 但 生意 归 生 意 ， 知 识 产权 的 所 有 者 Immersion 公 司 (加 利 福 
尼 亚 州 圣何塞 ) 有 权 收 取 专 利 许 可 费用 。 


正 是 因为 以 上 及 其 他 原因 ， 本 书 作 者 确信 精确 利用 人 类 触觉 的 产品 实现 技术 的 突破 口 会 是 某 种 形式 的 神经 触觉 刺激， 比如 前 
面 介绍 的 Tesla Studios 公 司 (苏格兰 圣 安 德 鲁 ) 的 TeslaSsuit。 在 第 8 章 我 们 知道 大 多 数 触感 只 不 过 是 一 系列 由 专门 化 的 感官 受 体 
产生 的 高 度 结构 化 的 电 脉冲 组 合 被 传送 到 大 脑 的 处 理 中 心 后 所 形成 的 结果 。 一 旦 我 们 对 不 同 的 感官 知觉 如 何 编码 有 了 更 多 的 了 解 
(比如 是 否 对 桃子 表面 纹理 的 触觉 总 是 形成 类 似 的 脉冲 组 合 ) ， 我 们 就 能 完全 绕 过 机 械 感官 受 体 ， 以 其 他 方式 开发 对 其 进行 测 
量 、 归 类 和 复制 的 方法 。 


11.1 感应 器 技术 简介 


感应 器 是 虚拟 和 增强 现实 系统 的 关键 产品 实现 技术 之 一 。 这 些 感应 器 用 于 跟踪 参与 者 的 位 点 和 使 用 者 头 部 和 手 部 (或 任何 人 
工 界面 ) 在 三 维 空间 中 的 位 置 和 方向 (从 而 跟踪 头 戴 式 视 觉 装 置 的 位 置 和 方向 ) 。 感 应 器 告诉 计算 系统 你 的 视线 ， 计 算 系统 通过 
与 虚拟 环境 及 其 内 部 的 物体 互动 ， 选 择 调 出 什么 场景 ， 以 及 触发 什么 事件 。 感 应 器 能 准确 传递 虚拟 空间 中 的 存在 感 或 互动 感 。 


本 章 我 们 将 探讨 目前 虚拟 和 增强 现实 系统 中 最 常见 的 用 于 跟踪 使 用 者 的 位 置 (X，Y，Z) 和 方向 (前 后 摆动 、 左 右 转动 和 左 
右 摆 动 ) ， 以 及 输入 和 输出 装置 的 各 种 感应 器 技术 。 这 些 解 决 方案 可 以 按 光学 、 电 磁 、 惯 性 和 听觉 细 分 成 小 类 ， 每 一 小 类 都 有 自 
己 的 优点 和 局 限 性 。 比 如 ， 有 些 感应 器 需要 连接 线 或 机 械 连 接 ， 有 些 则 需要 发 射 器 和 接收 器 之 间 的 视觉 不 受阻 挡 ， 还 有 一 些 受 室 
内 噪音 、 自 然 光 或 操作 区 域 的 导电 材料 等 环境 因素 影响 。 这 些 解决 方案 在 精确 度 和 系统 潜伏 时 间 (运动 和 响应 之 间 的 时 间 间 隔 ) 
方面 差异 很 大 。 


与 本 书 介绍 产品 实现 技术 的 其 他 几 章 一 样 ， 本 章 也 不 可 能 照顾 到 市 场 的 每 一 种 解决 方案 。 因 此 ， 本 章 所 介绍 的 具体 要 求 产 品 
及 其 功能 原理 只 是 特殊 感应 器 或 技术 类 别 的 其 中 一 部 分 代表 。 本 书 最 后 的 附录 B 中 有 一 份 各 种 感应 器 供应 商 的 清单 。 


11.3 ”信和 慰 跟 踪 器 


信 标 跟踪 是 一 种 监控 位 置 和 方向 的 新 方法 ， 是 把 红外 发 射 器 放 在 使 用 者 周围 的 关键 位 置 ， 然 后 用 安装 在 物体 上 的 红外 感应 器 
跟踪 相对 于 固定 安装 的 红外 发 射 器 的 位 置 和 方向 。 这 种 跟踪 方法 由 Valve 公 司 (华盛顿 州 贝尔 维 尤 ) 开发 ，HTC 公 司 的 Vive 虚 拟 
现实 系统 用 的 就 是 这 种 方法 。 


如 图 11-8 所 示 ， 这 个 应 用 系统 有 两 个 “灯塔 ”基站 ， 安 装 在 房间 对 角 的 高 处 。 每 个 基站 各 有 一 个 红外 信 标 ， 用 于 同步 发 射 
脉冲 ， 另 外 还 有 两 个 《 轮 ， 用 于 红外 激光 以 产生 持续 扫描 跟踪 空间 的 水 平和 垂直 红外 线 。 通 过 同步 发 射 的 脉冲 与 持续 扫描 的 激光 
相 结合 ，Vive 头 戴 式 装置 和 手持 控制 器 的 感应 器 可 探测 相对 于 基站 的 位 置 和 方向 。 





图 11-8 HTC Vive 系 统 所 用 的 灯塔 式 跟踪 系统 运用 头 戴 式 装置 和 控制 器 中 的 感应 器 探测 从 安装 在 墙壁 上 的 发 射 器 发 出 的 持续 扫描 
和 闪烁 的 红外 激光 


图 片 来 源 ， 房间 和 人 像 图 像 来 自 stryjekk 和 subarashii21 在 123RE.com 的 照片 ，S.Auksakalnis 稍 作 修改 





自 20 多 年 以 前 ， 电 磁 跟 踪 系 统 就 在 虚拟 现实 系统 中 起 着 关键 作用 。Polhemus 公 司 (佛蒙特 州 柯 彻 斯 特 ) 开发 的 FASTRAK 
系统 就 是 这 个 领域 最 早 的 成 品 之 一 ， 目 前 仍然 是 一 些 要求 最 严 苛 、 涉 及 关键 任务 的 应 用 中 的 一 个 主攻 耐用 性 的 解决 方案 。 


电磁 跟踪 系统 背后 的 一 般 工 作 原 理 相当 简单 。 如 图 11-9 所 示 ， 其 发 射 器 是 一 个 小 的 固定 立方 体 ， 其 内 安装 有 三 个 相互 为 直 
角 的 线圈 。 当 电流 按 顺 序 经 过 这 三 个 线圈 时 可 产生 三 个 相互 垂直 的 偶 极 磁 场 。 


感应 器 的 总 体 设计 与 发 射 器 相同 ， 但 是 尺寸 上 要 小 很 多 。 感 应 器 安装 在 物体 上 。 当 物体 在 这 三 个 磁场 内 移动 时 ， 在 三 个 线圈 
内 所 生产 的 电流 与 磁场 的 能 量 成 正比 。 这 些 信号 通过 有 线 或 无 线 连接 传送 到 控制 器 ， 然 后 控制 器 计算 接收 器 相对 于 发 射 器 的 相对 
位 置 和 方向 。 


FASTRAK 系 统 的 位 置 更 新 速率 是 120 赫 兹 ( 除 以 感应 器 的 数量 ) ， 潜 伏 时 间 大 约 是 4 毫秒 。 该 装置 的 标准 工作 学 围 是 4~ 6 英 
尺 ， 但 附加 其 他 装置 后 扩展 至 10 英 尺 。 测 量 精确 度 是 : X、Y、2 方 向 0.03 英 寸 RMS; 接收 器 方向 0.150 RMS。 










个 


发 送 器 (三 7 
互相 垂直 的 线圈 ) 


图 11-9 ”Polhemus 公 司 的 FASTRA 区 电磁 跟踪 器 (从 图 中 可 以 看 到 接收 器 和 发 送 器 各 有 三 个 相互 重 直 的 线圈 ) 


图 片 来 源 : www .polhemus .com 

市 场 上 的 电磁 位 置 感应 装置 有 两 大 类 : 用 交流 电 产 生 磁 场 和 用 直流 电 生产 磁场 。 但 是 在 虚拟 现实 领域 似乎 主要 是 交流 电解 决 
方案 。 交 流 电 系 统 的 测量 精确 ， 工 作 范 围 更 大 ， 信 和 号 /噪声 比 低 。 这 意味 着 在 一 个 空间 内 使 用 多 个 装置 时 的 音频 串扰 很 小 。 

与 本 章 介绍 的 其 他 跟踪 系统 一 样 ， 该 系统 也 有 局 限 性 和 实施 方面 的 困难 。 其 中 最 显著 的 困难 是 导电 材料 在 该 装置 的 工作 范围 
内 的 影响 。 当 用 于 生产 磁场 的 交流 电波 动 时 ， 导 电 材 料 内 会 产生 涡流 ， 从 而 令 磁 场 变形 ， 降 低 系统 的 性 能 。 一 些 可 缓解 这 种 影响 
的 纠正 方案 已 经 开发 成 功 ， 比 如 自 适 应 过 滤 。 


11.6 声学 感应 器 





在 撰写 本 书 时 ,市场 上 仍 缺 乏 虚拟 和 增强 现实 领域 内 可 行 的 听觉 跟踪 解决 方案 。 然 而 ， 声 学 感应 器 一 一 或 具体 地 说 是 超声 
波 感 应 器 一 一 在 适当 的 环境 下 可 能 是 功能 强大 的 解决 方案 。InterSense 公 司 (马萨诸塞 州 比尔 里 卡 ) 生产 的 高 精度 IS-900 是 这 
类 感应 器 的 主导 产品 。 


1S-900 系 统 通常 配置 有 一 个 名 叫 Sonistrips 的 装置 ， 这 个 装置 与 发 射 器 应 答 器 结合 ， 便 能 输出 超声 波 脉 冲 。 如 图 11-2 所 
示 ，SoniStrips 一 般 安装 在 跟踪 系统 作业 区 域 的 上 方 ， 因 为 这 样 与 内 置 在 手持 控制 器 内 的 感应 器 或 安装 在 视觉 装置 或 其 他 物体 上 
的 感应 条 之 间 的 视线 就 不 会 受到 阻挡 。SoniStrips 安 装 后 要 仔细 调 校 各 SoniStrips 装 置 之 间 以 及 SoniStrips 装 置 与 感应 器 之 间 的 
关系 ， 以 保证 在 六 个 自由 度 都 能 实现 精确 的 跟踪 。 





图 11-12 美国 军队 的 人 工 便携 式 .防空 (MANPAD) 模拟 装置 内 集成 的 InterSense SoniSttips 阵 列 和 超声 波 发 射 器 应 答 器 




















图 片 来 源 : 美国 海军 


























InterSense 系 统 的 超声 波 跟 踪 部 件 主要 用 于 确定 测量 结果 的 范围 ， 从 而 使 用 直角 坐标 系 (X，Y，Z) 确定 物体 在 跟踪 作业 区 
域内 的 位 置 。 被 跟 踊 物体 的 方向 (前 后 摆动 、 左 右 转动 、 左 右 摆动 ) 用 内 谋 在 手持 控制 器 内 的 一 款 名 叫 InertiaCube 的 高 精度 惯 
性 感应 器 测量 ， 或 使 用 图 11-13 所 示 的 感应 条 测量 。 这 些 装置 对 运动 的 测量 结果 通过 有 线 或 无 线 连接 传送 到 安装 在 机 架 上 的 基本 
单元 。 
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图 11-13 ”InterSense I[S-900 惯 性 -超声 波 跟踪 系统 的 无 线 手持 控制 器 和 有 线 感应 条 部 件 

















图 片 来 源 ， 爱 达 蓓 国家 实验 室 的 Flickr 相 册 ， 获 CC 2.0 许 可 

















使 用 多 项 跟踪 技术 称 为 感应 器 混合 ， 在 这 个 行业 中 可 以 见 到 各 种 不 同 的 感应 器 组 合 方式 。 


1S-900 不 仅 在 模拟 和 培训 领域 有 着 广泛 的 应 用 ， 还 可 作为 光学 跟踪 解决 方案 ( 见 本 章 前 面 的 有 关 部 分 ) 的 替代 方案 应 用 在 很 
多 计算 机 辅助 虚拟 环境 、 投 影 墙 和 半球 形 显 示 装 置 中 。 


总 的 来 说 ， 声 学 跟踪 系统 的 要 求 严 奇 ， 需 要 大 量 的 初始 设置 和 调 校 。 环 境 噪声 一 特别 是 与 载波 信号 的 波长 相近 的 环境 品 
声 ， 很 容易 造成 声学 跟踪 装置 的 误差 。 对 于 可 完全 控制 工作 环境 的 应 用 环境 一 一 比如 飞行 模拟 装置 ， 这 种 跟踪 技术 是 理想 的 选 


择 o 





11.7 结论 


情 确 、 高 效 和 成 本 合理 的 感应 器 是 各 种 虚拟 环境 系统 的 基本 要 求 。 虚 拟 和 增强 现实 对 很 多 行业 正在 产生 变革 性 的 影响 ， 而 其 
中 的 很 多 天 键 性 的 发 展 是 感应 器 发 展 的 结果 ， 但 是 挑战 仍然 存在 。 这 个 问题 不 是 因为 技术 方案 本 身 不 够 强大 ， 而 是 因为 这 个 领域 
还 处 于 相对 较 年 轻 的 阶段 。 


系统 开发 商 们 在 决定 运用 哪 一 种 感应 器 技术 时 所 面 对 的 最 大 挑战 之 一 是 测量 和 表述 性 能 的 方法 总 体 不 一 致 。 但 是 ， 当 有 足够 
多 的 成 熟 企业 参与 到 这 个 行业 ， 并 制订 严格 的 行业 标准 时 ， 这 个 问题 就 可 能 会 解决 。 


第 12 草 ”导航 和 交互 的 实现 装置 


所 有 虚拟 和 增强 现实 系统 的 最 基础 性 、 最 重要 的 基本 技术 之 一 是 使 用 者 在 模拟 环境 中 导航 并 与 之 交互 的 机 制 。 这 种 机 制 不 仅 
可 以 大 幅度 增加 虚拟 和 增强 现实 系统 的 可 用 性 ， 而 且 对 总 体 的 沉浸 感 至 关 重 要 。 在 本 章 中 ， 我 们 将 探讨 这 方面 的 一 些 现 有 和 正在 
开发 的 解决 方案 ， 并 了 解 为 什么 这 个 硬件 组 件 能 决定 这 个 行业 的 未 来 。 


交互 式 、 沉 浸 式 的 虚拟 现实 应 用 通常 需要 一 种 能 让 使 用 者 可 以 输入 的 方法 ,不论 是 用 于 模型 /数据 交互 、 导 航 ， 还 是 交互 导 
航 一 并 实现 。 除 了 专门 的 系统 外 ， 鼠 标 、 触 摸 屏 或 基本 的 游戏 控制 器 等 标准 二 维 输入 装置 极 少 使 用 ， 除 非 应 用 环境 中 的 特征 和 功 
能 需要 在 二 维 平面 上 进行 转换 。 比 如 步 入 式 建筑 设计 模型 或 游戏 应 用 环境 中 ，Z 轴 方向 的 移动 (向 上 和 向 下 ) 有 限 ， 因 此 你 在 Z 
轴 方 向 的 视野 总 体 上 不 需要 太 大 ， 二 维 输入 装置 可 能 是 完全 合适 的 理想 解决 方案 。 但 是 当 使 用 者 可 以 在 Z 轴 方向 移动 ， 比 如 涉及 
飞行 的 应 用 环境 ， 二 维 输入 装置 所 能 实现 的 导航 可 能 有 局 限 ， 或 不 够 直觉 ， 或 根本 不 可 能 实现 所 需 的 导航 。 


需要 说 明 的 是 ， 不 是 所 有 的 二 维 界面 都 是 手动 装置 。 如 图 12-1 所 示 ， 各 种 配置 的 跑步 机 通常 与 沉浸 式 的 显示 方案 相 结合 ， 
广泛 用 于 研究 机 构 、 大 型 建筑 设计 公司 、 模 拟 和 培训 [应 用 环境 。 大 多 数 这 种 系统 只 是 在 XY 平 面 转换 观察 位 置 ， 但 是 也 有 一 些 专 
门 的 系统 可 以 过 渡 到 斜面 。 大 多 数 基于 跑步 机 的 系统 可 跟踪 使 用 者 头 部 在 六 个 自由 度 的 移动 ， 并 且 与 用 于 眼 踪 脚 部 移动 的 技术 相 
互 独立 。 因 此 ， 使 用 者 可 能 只 是 沿 着 一 个 方面 在 跑步 机 上 跳动 ， 但 是 他 的 头 部 可 以 上 下 左右 摆动 ， 像 是 在 现实 环境 中 一 样 调整 姿 
势 . 





图 12-1 沉浸 式 应 用 环境 中 使 用 的 跑步 机 系统 的 三 个 案例 (可 在 XY 平面 上 转换 观察 者 的 视线 ) 。 左 图 : 伊利 诺 伊 大 学 香槟 分 校 
的 贝克 曼 研 究 所 伊利 诺 伊 模拟 实验 室 的 计算 机 辅助 虚拟 环境 显示 系统 ;中 图 : Virtuix 的 万 向 跑步 机 ; 右 图 : Omnifinity 的 万 向 跑 


步 机 









































图 片 来 源 : 分 别 来 自 伊 利 诺 伊 模拟 实验 室 〈 伊 利 诺 伊 大 学 ) 、Czar 在 Wikimedia 的 照片 ， 获 CC 2.0 许 可 ， 以 及 Johan Schmitz 

















如 第 1 章 中 所 述 ， 现 在 有 各 种 可 称 为 虚拟 现实 的 沉浸 式 视 觉 场 景 。 这 些 场 景 可 能 只 是 三 维 或 360" 视 频 显 示 装 置 ， 只 供 参 与 者 
凑 在 一 起 图 个 热闹 ， 只 能 转动 头 部 。 或 者 是 计算 机 辅助 虚拟 环境 (CAVE) ， 可 供 多 人 参与 但 只 有 一 人 导航 。 或 者 是 使 用 头 戴 式 
显示 装置 可 供 一 人 或 多 人 沉浸 式 体验 的 虚拟 场景 。 每 一 种 都 可 以 提供 强大 的 视觉 效果 ， 或 提供 在 电脑 生成 的 空间 或 模型 中 的 存在 
感 ， 但 只 有 那些 使 用 者 自己 通过 与 模拟 环境 中 的 物体 直接 交互 而 进行 导航 的 系统 才 最 有 魅力 、 最 远 真 ， 才 能 提供 最 大 的 沉浸 感 ， 
特别 是 还 能 提供 某 种 形式 的 触觉 和 力 反 馈 (Monroy 等 ，2008; Kechavarzi 等 ，2012; McGloin 等 ，2013) 。 


为 此 ， 有 必要 记 住 的 是 ， 除 了 像 HTC 的 Vive 那 样 集 成 了 摄像 头 的 专门 应 用 或 系统 ， 使 用 者 戴 上 一 个 完全 屏蔽 的 头 戴 式 显 示 装 
置 时 通常 没有 现实 世界 环境 的 视觉 参考 。 比 如 ， 键 盘 、 鼠 标 、 跟 踪 球 、 游 戏 控制 器 ， 等 等 。 因 此 ， 用 于 这 种 应 用 环境 的 任何 输入 
装置 必须 是 直觉 式 ， 而 且 易 于 操作 的 。 物 理学 家 、 作 家 、Atari 公 司 原 游戏 设计 师 Chris Crawford 在 他 1984 年 的 《电脑 游戏 设计 
的 艺术 》 一 书 中 对 这 方面 的 要 求 做 了 精辟 的 描述 (Crawford，1984) : 


“如 果 有 支 球 棒 在 手 ， 并 知道 棒球 运动 时 的 目的 就 是 击 球 ， 那 么 几乎 没有 人 不 知道 他 们 的 目的 就 是 对 准 球 挥动 球 棒 。 但 电脑 
上 的 棒球 运动 没有 那么 容易 理解 。 你 是 敲 击 “ 击 打 ” 键 ， 还 是 “ 挥 棒 ” 键 或 是 “ 球 棒 ” 键 ?你 应 当 按 下 “启动 ” 键 还 是 操纵 杆 的 
触发 器 ”如 果 没有 操作 说 明 ， 目 标 仍然 不 明确 。 


虽然 Crawford 的 类 比 不 是 指 沉浸 式 虚 拟 应 用 环境 ， 但 是 他 的 话 很 好 地 诠释 了 设计 者 在 设计 用 于 这 个 领域 的 手动 界面 和 控制 
器 时 所 面临 的 任务 的 复杂 性 。 如 何 确定 尺寸 和 形状 规格 ”按钮 和 键盘 应 放 在 什么 位 置 ?理想 的 重量 是 多 大 ”应 集成 什么 样 的 触觉 
和 力 反 馈线 索 ? 按钮 和 触发 器 是 否 用 符号 标识 ? 为 一 般 娱乐 应 用 环境 (虚拟 现实 的 最 大 用 户 群 ) 设计 的 装置 是 否 也 可 为 建筑 设计 
师 或 工程 师 提供 有 效 的 解决 方案 ? 


在 本 章 的 剩 下 部 分 ， 我 们 将 探讨 专门 用 于 这 个 领域 的 各 种 输入 装置 ， 以 及 少数 几 个 为 其 他 领域 开发 但 在 这 个 领域 也 有 运用 的 
输入 装置 。 

与 介绍 具体 产品 的 其 他 章节 一 样 ， 本 章 中 不 可 能 履 盖 市 场 上 的 每 个 解决 方案 。 因 此 ， 接 下 来 所 介绍 的 具体 产品 及 其 功能 原理 
只 是 某 类 特殊 装置 的 代表 。 本 书 最 后 的 附录 B 中 有 一 份 更 全 面 的 供应 商 清单 。 


最 后 ， 有 几 款 按 逻 辑 可 归 入 这 一 章 的 装置 在 本 书 介绍 核心 的 感应 器 产品 实现 技术 时 已 经 详细 介绍 过 。 包 括 Leap Motion 装 
置 〈 运 用 红外 光 和 立体 摄像 头 跟 踪 手 部 运动 ) 、 微 软 的 Kinect 感 应 器 系列 (采用 结构 光 场 和 飞行 时 间 测 量 以 实现 使 用 者 跟踪 和 交 
互 ) 及 其 他 。 在 本 章 的 相关 段落 注 明 了 这 些 装 置 的 详细 说 明 在 本 书 的 哪 一 章 中 。 


12.3 “ 手 和 手势 跟踪 


当 使 用 过 基于 头 戴 式 显示 装置 的 沉浸 式 虚拟 现实 系统 后 ， 再 近 距 离 观 察 其 他 人 第 一 次 使 用 时 也 能 产生 令 人 惊喜 的 体验 。 你 会 
看 到 大 多 数 第 一 次 使 用 者 的 一 个 共同 反应 是 单 手 或 双手 举 起 ， 试 图 抓 住 或 用 其 他 实际 接触 的 方式 与 所 看 到 的 虚拟 物体 互动 。 这 是 
一 种 直觉 反应 ， 就 像 在 现实 生活 中 伸 出 手 试图 与 物体 互动 一 样 。 手 动 界面 对 “信以为真 ”的 总 目标 非常 重要 ， 甚 至 可 以 成 为 最 重 
要 的 元 素 之 一 。 手 动 界面 也 是 这 个 市 场 领域 中 的 一 个 关键 决定 因素 ， 因 此 ， 在 这 方面 占据 先 机 的 公司 最 终 会 主导 整个 市 场 ， 比 如 
微软 和 索尼 所 生产 的 游戏 控制 器 。 幸 运 的 是 ， 虚 拟 和 增强 现实 的 应 用 领域 非常 广阔 ， 因 此 有 足够 的 市 场 份额 留待 分 配 。 


本 节 我 们 先 探 讨 那些 可 以 通过 最 自然 、 最 直觉 的 方式 实现 与 虚拟 环境 以 及 其 中 的 物体 互动 的 输入 装置 。 
12.3.1 手套 


在 虚拟 和 增强 现实 行业 最 早期 ， 用 于 在 虚拟 环境 中 导航 的 主要 (也 是 优先 采用 的 ) 界面 就 是 手套 ， 这 是 因为 ， 作 为 我 们 与 物 


理 世 界 互动 的 最 自然 方式 ， 我 们 的 手 有 力量 、 灵 活 、 活 动 范围 大 且 精 确 。 这 些 年 来 开发 的 这 种 手套 ， 有 几 十 款 都 获得 了 某 个 方面 
的 成 功 ， 但 我 们 要 特别 介绍 的 是 加 利 福 尼 亚 州 圣何塞 的 CyberGlove Systems 有 限 责任 公司 。 这 家 公司 经 历 了 这 个 行业 的 起 起 落 
落 ， 所 生产 的 高 质量 的 精密 装置 广泛 用 于 财富 美国 500 强 /全 球 500 强 公司 以 及 世界 各 地 的 政府 部 门 和 大 学 。 图 12-2 所 示 是 其 中 的 
一 款 手 套 。 


1.CyberGlove 亚 


CyberGlove 亚 是 一 款 无 线 手 控 三 维 运动 捕捉 装置 ， 可 以 精确 地 量化 使 用 者 手 和 手指 的 移动 ， 当 与 控制 软件 结合 使 用 时 ， 还 
可 在 虚拟 环境 中 或 在 电脑 屏幕 上 以 图 形 化 的 方式 呈现 手 和 手指 的 移动 。 这 样 ， 使 用 者 可 以 像 在 现实 生活 中 一 样 “ 把 手 伸 进 去 并 操 
控 ” 数 字 物 体 (CGS，2015) 。 


CyberGlove 开 上 有 18~ 22 个 点 (取决 于 具体 型 号 ) ， 配 置 了 阻力 式 弯曲 传 感 专利 技术 ， 能 进行 高 精度 的 连接 角 测 量 。 包 括 
每 根 手指 上 的 弯曲 感应 器 、 外 展 感应 器 ， 以 及 用 于 测量 拇指 跨度 、 手 掌 弧度 等 的 感应 器 。 手 套 的 主体 采用 可 伸展 的 纤维 制造 ， 手 
掌 部 分 采用 网 状 材 料 制 造 ， 以 便 通 风 。 感 应 器 数据 的 速率 在 100 记 录 / 秒 (SD 卡 ) 到 120 记 录 / 秒 (USB 和 Wi-Fi) 之 间 。 可 通过 
Wi-Fi (802.11g) 实现 无 线 数据 传输 。 


有 必要 特别 指出 的 是 ， 该 装置 的 基本 型 号 (如 图 12-2 所 示 ) 不 能 提供 触觉 和 力 反 馈线 索 ， 但 是 可 通过 附加 其 他 系统 实现 这 
个 功能 。 





图 12-2 ”CyberGlove 无 线 运动 捕捉 数据 手套 (这 款 产 品 使 用 22 个 高 精确 度 的 连接 角 感 应 器 ， 能 精确 地 把 手 和 手指 的 运动 实时 转换 


成 数字 式 的 连接 角 数 据 ) 











到 片 来 源 : Cyberglove Systems 公 司 





在 第 10 章 中 详细 介绍 的 CyberGrasp 骨 架 形 力 反射 装置 就 是 其 中 之 一 。 
对 于 需要 跟踪 使 用 者 的 手 在 三 维 空间 中 的 运动 的 应 用 环境 ， 这 款 手套 需要 与 第 11 章 中 所 介绍 的 跟踪 技术 之 一 配合 使 用 。 
2.Peregrine USB Glove 


Peregrine USB Glove ( 见 图 12-3) 是 虚拟 和 增强 现实 行业 内 主要 的 一 款 消 费 级 、 低 成 本 的 自然 人 机 交互 装置 。Peregrine 
由 Iron Will Innovations 公 司 开发 (加拿大 艾 尔 伯 塔 省 劳 埃 德 明 斯 特 ) ， 最 初 定位 是 用 于 任务 密集 型 即时 战略 (RTS) 游戏 ( 比 
如 《我 的 世界 》 (Minecraft) ) 中 的 “可 穿戴 键盘 ”。 但 现在 ， 该 产品 正在 虚拟 现实 游戏 领域 寻找 新 的 用 户 群 。 





图 12-3 ”Peregtine USB Glove 通 过 分 布 在 手指 和 手掌 上 的 导电 接触 垫 及 接触 点 把 手势 转换 成 普通 的 电脑 和 软件 应 用 程序 的 指令 











妈 片 来 源 : Iron Will Innovations 加 拿 大 公司 





这 款 手 套 采 用 耐久 、 可 伸展 、 可 洗涤 的 氨纶 和 尼龙 网 状 材料 制 成 ， 有 三 个 导电 接触 垫 (手掌 上 一 个 ， 拇 指 上 两 个 ) 。 手 指 内 
侧 共 有 18 个 接触 点 (食指 、 中 指 、 无 名 指 上 各 有 5 个 ， 小 指 上 3 个 ) 。 当 这 18 个 接触 点 中 的 任何 一 个 与 接触 垫 接触 ， 便 会 触发 一 
个 独特 的 信号 ， 并 传送 至 游戏 或 其 他 应 用 。 使 用 者 通过 控制 软件 可 仪 根 据 手势 自 定 义 和 调 校 30 多 个 用 户 可 编程 的 动作 ， 从 而 形 
成 独特 的 接触 动作 组 合 。 


Peregrine 通 过 USB 连 接线 与 电脑 连接 (USB 连 接线 附 在 安装 在 手套 背面 的 一 个 磁性 分 离 式 夹 槽 内 ) 。 如 果 你 的 动作 和 手势 
超出 了 连接 线 的 长 度 ， 这 个 夹 槽 会 脱落 ， 避 免 对 手套 和 感应 器 可 能 造成 的 损伤 。 


\ 二 主峰 半 


这 款 装 置 同样 不 能 提供 触觉 和 力 反 馈线 索 。 对 于 需要 跟踪 使 用 者 的 手 在 三 维 空间 中 的 运动 的 应 用 环境 ， 这 款 手 套 需要 与 第 
11 章 中 所 介绍 的 跟踪 技术 之 一 配合 使 用 。 


12.3.2” 双 棒 / 成 对 控制 器 


做 一 个 简单 的 实验 。 把 你 的 一 只 手 固定 放 在 你 的 裤子 口袋 内 然后 四 处 走动 ， 看 看 你 能 坚持 多 久 。 当 你 坚持 不 下 去 时 停止 实 
验 。 在 某 种 程度 上 说 ， 如 果 经 常 使 用 虚拟 现实 系统 或 长 时 间 需 要 手动 交互 ， 那 么 情况 与 之 类 似 。 我 们 之 所 以 长 着 两 只 手 ， 就 是 需 
要 用 它们 。 双 棒 / 成 对 控制 器 从 我 们 的 环境 中 收集 的 信息 更 广 、 功 能 更 强大 、 更 灵活 、 操 作 更 简单 。 本 节 我 们 将 探讨 为 在 沉浸 式 
虚拟 环境 中 互动 和 导航 而 设计 的 各 种 双 棒 及 成 对 控制 器 。 


1.HTC 的 Vive Steam VR 控 制 器 


Vive 控 制 器 ( 见 图 12-4) 为 HTC 的 Vive 虚 拟 现实 系统 专门 设计 ， 其 设计 均衡 ， 符 合 人 体 工程 学 要 求 ， 控 制 器 头 部 集成 了 一 
个 有 纹理 的 圆 形 触摸 板 ， 每 根 手 指 下 有 一 个 双 阶 段 触 发 器 、 两 个 手 抓 式 按钮 ， 以 及 系统 和 菜单 按钮 。 其 环形 设计 不 仅 美 观 ， 也 是 
因为 需要 分 开 跟 踪 装 置 的 位 置 和 方向 的 感应 器 。 控 制 器 通过 一 体式 的 可 充电 锂 聚 合 物 电池 供电 (通过 微型 USB 连 线 充 电 ) 。 据 说 
充电 一 次 可 运行 几 个 小 时 。 





图 12-4 HTC 的 Vive/Steam VR 控制 器 是 最 先进 的 三 维 输入 装置 ， 可 在 虚拟 现实 模拟 环境 中 实现 平稳 、 丰 富 的 互动 和 时 航 





图 片 来 源 : HTC 











控制 器 的 位 置 和 方向 的 监控 结合 了 内 置 的 微机 电 系 统 感 应 器 和 灯塔 式 三 维 空间 激光 跟踪 技术 ( 见 第 11 章 有 关 HTC 的 Vive 头 
戴 式 显示 装置 的 具体 介绍 ) 。 界 面 控 制 和 内 置 感 应 器 输出 的 数据 通过 无 线 发 射 器 传送 给 Vive 头 戴 式 显示 装置 内 安装 的 接收 器 ， 并 
且 不 受 主 电脑 所 产生 的 噪声 的 干扰 。 光 触觉 效果 通过 振动 触 党 线索 实现 。 


2.0culus Touch 


Oculus Touch 是 迄今 为 止 最 有 创新 性 的 用 户 界 面 之 一 ， 它 是 一 对 手持 无 线 控制 器 ， 最 初 为 Oculus Rift 虚 拟 现实 系统 设计 。 
Touch 证 明了 高 质量 的 工业 设计 师 能 对 最 终 产品 产生 巨大 的 影响 。 这 款 产 品 集成 了 本 章 前 面 介绍 的 许多 必要 功能 。 你 的 手 以 放松 
的 状态 就 可 以 轻易 地 托 起 这 款 产品 ， 而 且 只 需 几 秒 就 能 了 解 如 何 操作 其 功能 。 如 图 12-5 所 示 ， 每 个 单元 有 一 个 位 置 精准 的 食指 
触发 器 ， 中 指 也 有 一 个 这 样 的 触发 器 ， 拇 指 也 有 一 个 位 置 完美 的 模拟 式 控制 棒 ， 另 外 还 有 两 个 明确 标识 的 按钮 。 这 款 装 置 在 总 体 
几何 结构 的 设计 上 不 会 影响 使 用 者 的 手指 ， 可 以 完成 抓 取 、 指 点 、 挥 舞 等 自然 手势 。 该 装置 的 触发 器 及 其 他 位 置 的 电容 式 感应 表 





面 可 以 帮助 识别 这 些 手 势 ， 因 此 可 以 实现 其 他 一 些 控制 功能 。 





图 12-5 ”Oculus Touch 控 制 器 采用 了 各 种 感应 器 〈 包 括 红外 LED) 以 帮助 跟踪 位 置 和 方向 ， 并 采用 电容 式 感 应 控制 表面 以 跟踪 自 
然 手 势 〈 比 如 指点 和 挥舞 ) 











到 片 来 源 : eVRydayVR 的 Flickr 相 册 





这 些 控制 器 的 位 置 和 方向 是 运用 Oculus Constellation 跟 踪 技 术 〈 即 红外 摄像 头 控制 每 个 装置 周围 红外 LED 阵 列 的 位 置 ) 来 
监控 的 。 来 自 界面 控制 和 内 置 感应 器 的 数据 (比如 探测 使 用 者 的 手指 是 在 接触 按钮 还 是 在 某 个 特定 位 置 的 数据 ) 通过 无 线 发 射 器 
传送 给 内 置 在 Oculus 头 戴 式 显示 装置 的 接收 器 ， 并 且 不 受 主 电 脑 所 产生 的 噪声 的 干扰 。 


Oculus Touch 控 制 器 通过 振动 触 党 线索 提供 幻 触 反 馈 (在 频率 和 幅度 上 是 变化 的 ) ， 这 样 应 用 开发 商 在 将 触觉 与 观察 者 或 
使 用 者 触发 的 事件 配对 时 就 有 更 多 的 自由 度 和 创造 性 。 


3. 索 尼 的 PlayStation Move VR 控制 器 


Move VR 控制 器 ( 见 图 12-6) 是 索尼 的 Playstation 产 品 线 多 年 以 来 的 基石 ， 虽 然 在 外 观 和 人 体 工程 学 方面 不 如 本 章 介绍 的 
其 他 装置 ， 而 且 使 用 环境 略 粗糙 ， 但 是 对 于 其 设计 应 用 环境 来 说 功能 非常 好 。 每 个 Move 控 制 器 有 9 个 输入 按钮 : 4 个 控制 按钮 
(O，oO，A^，X) 、 侧 面 的 启动 和 选择 按钮 、 一 个 标准 的 PS 按钮 、 一 个 触发 按钮 和 一 个 大 的 “Move” (移动 ) 按钮 。 这 款 控制 
器 一 个 新 颖 的 性 能 是 其 基部 的 发 光 球 (用 于 位 置 跟 踪 ) 在 使 用 过 程 中 会 变换 颜色 。 

















图 12-6 ”索尼 的 PS Move 控 制 器 跟踪 使 用 者 的 手 在 三 维 空间 中 的 快速 和 细微 动作 





图 片 来 源 : Evan-Amos 














内 置 的 锂 离子 可 充电 电池 充足 电 后 可 运行 10 小 时 。 控 制 器 的 位 置 跟踪 采用 索尼 的 Playstation 摄 像 头 (实际 上 还 包括 用 于 深 
度 视觉 的 立体 摄像 头 ) 。 该 装置 的 方向 跟踪 采用 内 置 的 微机 电 系 统 陀螺 仪 、 加 速 仪 和 三 轴 指 南 针 ， 用 于 测量 快速 和 细微 的 动作 。 
这 些 感应 器 输出 的 信息 通过 蓝牙 发 射 器 传送 给 Playstation 的 基本 单元 。 


Playstation Move VR 控制 器 通过 振动 触觉 线索 提供 幻 触 反 馈 ( 即 系统 用 户 经 常 说 的 码 友 声 ) 。 


12.4 全身 跟踪 


很 多 沉浸 式 虚拟 应 用 环境 需要 跟踪 全 身 的 动态 情况 。 这 种 技术 的 一 个 最 引 人 注 目的 应 用 案例 是 执法 部 门 或 军队 将 其 用 于 布置 
重要 的 战术 技能 ， 比 如 房间 排查 行动 和 应 对 有 人 主动 攻击 的 情形 。 在 沉浸 式 训练 应 用 环境 中 ， 通 过 跟踪 参与 者 身体 及 其 武器 上 多 
个 点 的 移动 ， 可 以 进行 详细 的 事后 分 析 、 问 题 识 别 、 技 能 组 合 调整 。 图 12-7 所 示 的 就 是 这 样 一 个 应 用 案例 。 





图 12-7 美国 东部 管区 部 队 第 157 步 兵 旅 的 士兵 们 在 利用 徒步 步兵 训练 系统 (Dismounted Soldier Training System) 。 虽然 徒步 步兵 


训练 系统 不 能 代替 训练 本 身 ， 但 这 个 系统 提供 改变 或 重复 场景 的 功能 ， 可 以 增强 操练 、 分 析 个 人 和 团队 的 移动 等 


























图 片 来 源 : 美国 国防 部 




















这 种 对 移动 进行 详细 研究 的 方法 属于 一 种 称 为 运动 捕捉 (MOCAP) 的 技术 。 这 项 技术 有 两 个 不 同 的 类 别 : 光学 和 非 光学 。 
在 第 11 章 中 介绍 了 几 种 光学 跟踪 技术 。 第 15 章 中 将 会 介绍 几 个 将 光学 运动 捕捉 系统 应 用 于 沉浸 式 虚 拟 环境 的 案例 。 


感觉 神经 元 


新 的 惯性 跟踪 技术 出 现 后 ， 光 学 运动 跟 踊 解决 方案 得 以 被 替代 ， 而 且 成 本 低 很 多 。 诺 认 腾 有 限 责 任 公司 (中 国 北京 ) 生产 的 


Perception Neuron 系 列 感 应 器 就 是 这 种 替代 方案 之 一 。 如 图 12-8 所 示 ，Perception Neuron 系 统 基于 可 相互 交换 的 运动 感应 
器 ， 即 所 谓 的 神经 元 。 每 个 神经 元 的 尺寸 大 约 是 1 厘米 x 1 厘米 ， 并 与 一 个 中 心 相连 。 每 个 神经 元 内 是 一 个 惯性 测量 装置 

(IMU) ， 包 括 陀螺 仪 、 加 速 仪 、 磁 强 仪 。 这 个 系统 的 原创 性 在 于 每 个 神经 元 皆 可 互 换 、 可 放 在 所 需 的 任何 地 方 (比如 放 在 手 
上 用 于 探测 手 部 的 细微 动作 ， 放 在 身体 的 具体 部 位 ， 甚 至 可 以 放 在 附件 上 ) 、 可 以 实现 无 穷 个 组 合 。 一 个 简单 的 中 心 可 以 连接 1 
~ 30 个 神经 元 。 





身体 系 审 


图 12-8 Petception Neuron 运 动 捕捉 系统 运用 32 个 可 相互 交换 的 感应 器 跟踪 使 用 者 身体 和 四 肢 的 动作 


图 片 来 源 ，Noitom 公 司 

Perception Neuron 系 统 可 通过 Wi-Fi 或 机 载 记录 在 无 线 模式 下 工作 ， 也 可 通过 USB 连 接 在 有 线 模式 下 工作 ， 应 用 起 来 很 灵 
活 。 这 个 系统 有 几 个 版 本 (18 ~ 32 个 神经 元 感应 器 ) 在 市 面 出 售 。 另 外 ， 大 量 的 演示 证 明 这 个 系统 能 与 Oculus 和 HTC Vive 虚 拟 
现实 系统 以 及 很 多 软件 解决 方案 (比如 Maya、3ds Max、Unity、Unreal) 实现 几乎 完美 的 结合 。 


12.5 ”游戏 和 娱乐 界面 


市 场 上 有 很 多 游戏 控制 器 已 经 与 基于 智能 手机 的 头 戴 式 显示 装置 结合 使 用 ， 比 如 三 星 的 Gear VR。 在 这 种 应 用 环境 下 ， 虽 然 
很 多 这 种 控制 器 通过 蓝牙 与 安 卓 系 统 的 移动 装置 (比如 S7、S6、S6 Edge、S6 Edge+、Note 4、Note 5) 连接 ， 但 具体 装置 
的 控制 程序 需要 重新 调整 后 才能 正常 工作 。 在 互联 网 上 有 很 多 有 关 这 种 配置 的 操作 说 明 。 


在 撰写 本 书 时 ，Oculus Rift 的 第 一 个 版 本 的 消费 级 头 戴 式 设备 ( 详 见 第 6 章 ) 与 微软 的 Xbox One 控 制 器 ( 见 图 12-9) 捆绑 
在 一 起 ， 证 明了 将 这 种 界面 应 用 于 沉浸 式 虚拟 环境 的 可 行 性 。 


驾驶 模拟 器 是 Oculus 的 开发 商 套件 Kit1 和 Kit2 的 商业 版 本 发 布 后 最 早 开发 的 沉浸 式 游戏 应 用 之 一 。 市 场 上 专门 用 于 这 种 应 用 
场景 的 保 真 度 最 高 的 游戏 方向 盘 有 一 些 是 Logitech International 公 司 (瑞士 莫 尔 日 上 罗马 内 勒 ) 生产 的 。 图 12-10 展 示 了 其 中 
的 一 款 : G29 Driving Force Racing Wheel 及 其 配套 的 换 挡 装置 。 需 要 注意 的 是 ， 这 款 产品 集成 了 大 量 的 高 分 辨 率 触 觉 的 力 反 
馈 装 置 ( 见 第 9 章 ) 。 这 个 外 围 设 备 与 各 种 游戏 控制 台 以 及 Windows 系 统 的 个 人 电脑 兼容 。 





图 12-9 Xbox One 游 戏 手 柄 是 第 一 款 与 Oculus Rift 的 消费 级 头 戴 式 显 示 装 置 捆绑 在 一 起 的 手动 控制 器 














图 片 来 源 : BagoGames 的 ELickr 相 册 ， 获 CC2 .0 许可 





图 12-10 ”Logitech 的 G29 Driving Force Racing Wheel 是 一 款 仿 真 级 、 螺 旋 齿 轮 驱 动 、 力 反馈 式 输 入 装置 ， 与 Oculus 系 统 结合 可 实现 
非常 逼真 的 模拟 驾驶 体验 








到 片 来 源 : Logitech 公 司 








12.6 ”通过 意识 导航 


人 的 大 脑 是 一 个 非常 神奇 和 复杂 的 器 官 。 人 的 大 脑 中 有 100000 英 里 的 血管 (Turkington，1996) ， 大 约 1000 亿 个 神经 
元 ， 每 个 神经 元 有 1 二 到 1 万 个 触 突 (Chudler，2011) ， 记 忆 贮 存 容量 大 约 是 2.5 干 万 亿 字 节 (Reber，2010) 。 据 IBM 公 司 脑 
启发 计算 首席 科学 家 Dharmendra S.Modha 的 保守 估计 ， 人 脑 的 处 理 能 力 是 38 干 万 亿 次 运算 / 秒 (Greenemeier，2009) 。 而 


所 有 这 些 能 力 的 载体 只 不 是 一 个 大 约 3 磅 !1 重 的 物质 ， 其 75% 的 成 分 是 水 ， 总 体 星 胶 状 (Juan，2006) 。 


正 是 因为 这 些 在 我 们 生活 中 无 所 不 在 的 神奇 能 力 ， 科 幻 作 品 中 常常 充斥 着 各 种 直接 的 脑 机 界面 (BM1) 。 完 全 消除 人 机 之 间 
的 界线 在 近期 几乎 不 可 能 ,但 是 这 个 界限 在 逐渐 变 得 模糊 。 过 去 10 年 在 这 方面 取得 了 巨大 的 进步 ， 通 过 有 创 性 和 无 创 性 的 方法 
创造 了 人 脑 与 复杂 信息 系统 之 间 的 汇通 路 径 ， 主 要 目的 是 辅助 、 修 复 或 增强 人 的 意识 和 感应 动作 能 力 。 


虽然 这 些 努 力 后 面 的 驱动 力 所 关注 的 并 不 是 虚拟 或 增强 现实 界面 ， 但 很 可 能 这 个 领域 会 利用 这 些 进步 和 成 果 。 


生物 信息 公司 Emotiv (加 利 福 尼 亚 州 旧金山 ) 开发 的 EPOC 多 通道 脑 电 图 (EEG) 采集 系统 就 是 这 方面 的 一 个 成 果 。 如 图 
12-11 所 示 ， 该 装置 有 14 个 感应 器 (和 两 个 基准 /定位 感应 器 ) ， 通 过 这 些 感 应 器 可 以 测量 大 脑 中 的 电信 和 号。 使 用 前 ， 使 用 者 
要 “训练 ”系统 ， 其 方法 是 想象 运动 方面 的 动作 并 记录 和 分 析 此 时 大 脑 的 活动 。 最 终 这 个 系统 能 区 分 不 同 的 意念 。 然 后 将 探测 到 
的 结果 传送 或 映射 到 任何 计算 平台 或 应 用 软件 (Le，2010) ， 但 是 因为 人 脑 注意 力 和 思考 数据 的 变异 性 很 大 ， 非 正 态 分 布 ， 
此 还 有 很 多 挑战 (Maskeliunas 等 ，2016) 。 





图 12-11 了 EPOC 头 戴 式 装置 是 一 款 高 分 辨 率 、 多 通道 、 人 便携式 的 脑 电 图 系统 (使 用 者 可 通过 意识 在 沉浸 式 虚 拟 环 境 中 导航 ) 














到 片 来 源 : Bruno Cordioli 和 Bownose 的 Flickr 相 册 ， 获 CC 2.0 许 可 

能 开发 这 种 大 众 消费 品 的 突破 性 进展 是 因为 开发 出 了 新 的 算法 ， 能 将 使 用 者 的 大 脑 皮 质 裙 皱 从 数学 上 扁平 化 ， 能 映射 更 接近 
于 大 脑 的 真实 信息 源 的 信号 (每 个 人 的 大 脑 皮 质 裙 图 案 都 是 独一无二 的 ， 就 像 人 的 指纹 一 样 ) (Le，2010) 。 

作为 很 多 沉浸 式 虚 拟 现实 和 机 器 人 应 用 的 界面 ， 这 款 装置 已 经 在 世界 各 地 得 到 广泛 应 用 。 


1 磅 二 0.45359237 公 斤 。 一 一 编辑 注 


输入 装置 、 控 制 器 ， 以 及 其 他 输入 方式 是 大 多 数 沉浸 式 虚 拟 现实 系统 和 应 用 的 主要 组 成 部 分 。 不 论 是 手动 界面 (比如 集成 了 
很 多 感应 器 的 手套 、 戒 指 、 控 制 棒 和 各 种 各 游戏 界面 ) ， 还 是 运动 捕捉 系统 、 万 向 跑步 装置 、 用 于 跟踪 你 目光 方向 或 脑 电 图 活动 
的 装置 ， 这 些 工具 都 能 确保 在 电脑 生成 的 环境 中 移动 并 与 之 交互 。 


沉浸 式 虚 拟 系统 有 各 种 不 同 的 应 用 领域 ， 因 此 也 需要 各 种 不 同 的 输入 装置 可 供 选 择 。 比 如 ， 评 佑 新 的 空间 站 设计 模型 的 工程 
师 需求 与 游戏 爱好 者 或 练习 复杂 的 腹腔 镜 检查 技术 的 外 科 医 生 的 需求 完全 不 一 样 。 正 是 因为 这 个 原因 ， 抛 开 实 际 的 应 用 环境 和 内 
容 不 论 ， 用 于 实现 互动 和 导航 的 装置 可 能 是 这 个 行业 最 具 动 态 性 和 变革 性 的 因素 。 


了 增强 和 虚拟 现实 的 应 用 
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第 13 章 游戏 与 娱乐 


虚拟 现实 与 增强 现实 仍 属 新 兴 领 域 ， 却 在 促使 艺术 、 游 戏 和 娱乐 产业 转型 。 从 全 新 的 艺术 表现 媒介 与 形式 、 以 全 方位 动作 感 
染 用 户 的 沉浸 式 游戏 ， 到 360" 立 体 影院 ， 这 些 技术 已 然 开始 重新 定义 上 述 应 用 领域 的 传统 媒介 。 本 章 将 探讨 沉浸 式 系统 在 艺术 
与 娱乐 产业 中 的 独到 应 用 ， 重 点 讨论 其 优势 与 神 益 ， 以 及 利用 这 一 新 兴 媒 介 所 面临 的 挑战 。 


13.2 游戏 


基于 虚拟 现实 与 增强 现实 巨大 的 应 用 潜力 和 丰富 的 应 用 领域 ， 目 前 潜力 最 大 、 拥 是 最 多 的 便 是 游戏 市 场 。 涉 足 电子 游戏 领域 
的 每 家 软件 、 硬 件 甚 或 周边 企业 ， 都 在 开发 相关 项 目 ， 试 图 从 游戏 市 场 即将 做 大 的 下 一 块 蛋糕 上 分 一 杯 查 。 事 实 上 ， 电 脑 游 戏 市 
场 的 规模 与 盈利 性 一 直 强 有 力 地 驱使 着 图 形 处 理 器 (GPU) 的 性 能 快速 提升 ， 也 促使 着 整个 虚拟 现实 领域 重 回 公众 视野 。 


13.2.1 单 人 第 一 人 称 游戏 


尽管 这 一 领域 在 游戏 市 场 涉足 尚 浅 ， 专 为 头 戴 式 立 体 显示 器 设计 或 可 外 接 至 此 类 设备 的 电子 游戏 已 然 数 量 庞大 、 种 类 繁多 ， 
且 仍 在 不 断 增 长 。 游 戏 主题 从 模拟 飞机 和 汽车 驾驶 ， 到 密室 逃脱 、 怪 兽 对 战 ， 表 到 模拟 手术 及 标准 军事 题材 等 第 一 人 称 射击 游 
戏 ， 不 一 而 足 。 图 13-2 的 截图 来 自 冰 岛 雷 克 雅 未 克 CCP 游 戏 公 司 推出 的 热门 游戏 Gunjack。 游 戏 以 太空 为 主题 背景 ， 玩 家 在 炫目 
的 视觉 效果 中 ， 操 控 采 矿 船上 的 炮塔 ， 击 退 海盗 的 攻击 。 


Gunjack 利 用 Epic Games 公 司 的 虚幻 引擎 4 开发 工具 套装 设计 完成 ， 专 门 用 于 智能 手机 专用 的 三 星 Gear VR 头 戴 式 显 示 器 
(CCP，2015) (参见 第 6 章 ) 。 用 户 在 游戏 中 的 导航 及 互动 功能 则 通过 一 系列 手持 式 游戏 控制 器 完成 (参见 第 12 章 ) 。 





图 13-2 ”截图 出 自 Eve:Gunjack， 一 款 专 为 虚拟 现实 系统 设计 的 第 一 人 称 动作 射击 游戏 





图 片 来 源 : Bryan Ward 的 Flickr 相 册 ， 获 CC 2.0 许 可 











目前 ， 市 面 上 已 有 数 百 种 支持 Oculus、HTV Vive、Sony PS4 VR、OSVR 等 VR 系统 的 单 人 第 一 人 称 游戏 。 


13.2.2 多 人 第 一 人 称 游戏 


首 批 商用 虚拟 现实 系统 于 20 世 纪 80 年 代 中 期 问世 以 来 ， 多 用 户 或 “共享 ”虚拟 环境 的 概念 立刻 成 为 这 一 领域 发 展 的 基础 理 
念 之 一 。 科 学 家 与 工程 师 醉 心 于 使 身 处 异地 的 参与 方 远程 协作 同一 项 目的 技术 ; 教育 专家 渴望 探索 分 散 化 虚拟 教室 的 建设 ; 
Face book 等 诸多 社交 网 络 公 司 也 立场 坚定 地 把 虚拟 现实 称 作 推动 未 来 社交 的 主要 工具 之 一 (Metz，2016) 。 电 脑 游戏 爱好 者 
们 更 不 会 例外 。 从 团体 类 任务 到 竞争 激烈 的 技巧 类 游戏 ， 有 充分 的 理由 认为 ，VR 系 统 游戏 软件 发 展 中 的 一 项 重大 议题 便 是 多 用 
户 适 用 性 。 支 持 多 玩家 操作 的 标准 电脑 游戏 一 一 无 论 玩 家 是 坐 在 同一 张 沙发 上 同 玩 ， 还 是 散布 世界 各 地 一 一 往往 占据 销售 榜 高 
排行 ， 拥 有 极 高 人 气 。 但 和 普通 电脑 游戏 不 同 的 是 ， 多 人 虚拟 现实 应 用 程序 面临 一 系列 耐人寻味 的 计算 和 连接 性 问题 。 





从 最 基本 的 角度 来 说 ， 完 全 沉浸 式 虚 拟 现实 系统 需要 一 个 立体 头 戴 式 显示 器 ， 至 少 一 台 输 入 设备 或 控制 器 ， 以 及 至 少 可 以 追 
踪 用 户头 部 位 置 与 方向 的 传感器 。 驱 动 这 些 硬件 的 任务 运算 强度 已 然 很 大 ， 以 单一 系统 搭载 多 名 用 户 尚 不 实际 。 因 此 ， 目 前 的 多 
人 虚拟 现实 游戏 均 具 备 一 定 的 联网 能 力 ， 具 体 要 求 则 依 平台 及 发 行 来 源 而 定 。 


13.2.3 ”大 型 多 人 第 一 人 称 游戏 


这 一 连接 性 问题 及 潜在 需求 远 远 超出 三 五 好 友 相 约 在 虚拟 世界 中 论 剑 或 屠城 。 继 《魔兽 世界 》 (World of Warcraft) 《 星 
战 前 夜 》 (EVE Online) 等 大 型 多 人 第 一 人 称 游戏 (MMFPG) 之 后 ,一 众 软件 厂商 正在 积极 开发 支持 虚拟 现实 系统 的 游戏 应 
用 与 网 络 基 础 设施 ，《 焉 师 OL》 (Wizard Online) 便 是 其 中 一 例 ， 游 戏 截图 见 图 13-3 (Olivetti，2016) 。 





图 13-3 《巫师 OL》 游戏 截图 ， 该 游戏 为 同时 适用 虚拟 现实 系统 与 台式 电脑 的 大 型 多 人 第 一 人 称 游戏 








图 片 来 源 : Playwizardonline.com。 游 戏 设 置 由 创始 人 Mahir Ozez 编 制 




















虚拟 现实 游戏 并 不 仅 限于 家 庭 (或 工作 ) 场景 。 全 球 许多 地 方 都 在 建造 涉及 沉浸 式 虚 拟 现实 系统 的 户外 娱乐 与 游戏 场所 ， 采 
用 混合 现实 、 自 由 漫游 等 场景 形式 ， 详 细 介 绍 见 下 文 。 


混合 现实 指 现实 与 虚拟 世界 的 融合 ， 实 体 环境 下 的 物体 在 虚拟 环境 模拟 中 具有 直接 的 功能 。 请 想象 这 样 一 个 情景 : 一 个 实体 
仓库 被 布置 成 多 个 错综复杂 的 迷宫 ， 有 着 无 任何 特征 的 走廊 、 角 落 和 房间 ， 摆 放 着 同样 毫 无 任何 特征 的 大 型 圆柱 体 、 立 方 体 和 球 
体 。 现 在 试想 象 ， 当 你 戴 上 头 戴 式 显 示 器 后 ， 你 身 处 的 这 个 毫 无 特征 的 实体 空间 立即 严 丝 合 缝 地 转化 成 一 个 设计 精美 、 细 节 丰 富 
的 虚拟 环境 。 这 就 是 虚拟 现实 ， 也 是 支撑 美国 犹他 州 林 登 市 一 个 新 型 的 基于 位 置 的 游戏 中 心 一 一 The Void 的 基础 技术 。 





The Void 在 名 为 “Pod” 的 无 特征 、 可 重 配置 的 实体 空间 中 ， 融 入 了 通过 头 戴 式 显示 器 展示 的 精美 图 像 ， 可 在 游戏 场景 下 
产生 激动 人 心 的 感官 效果 。 雾 雳 、 热 度 、 气 味 、 鼓 风机 及 环境 音 等 感官 暗示 大 幅 提高 了 模拟 环境 的 真实 性 。 同 样 地 ， 墙 面 和 地 板 
振动 、 三 自由 度 (DOF) 运动 平台 等 也 可 用 于 模拟 电梯 抵达 不 同 楼 层 或 乘坐 运输 工具 前 往 远方 战场 的 效果 ， 使 玩家 感知 到 的 游 
戏 空间 远 远大 于 场景 所 在 的 60 平 方 英尺 ( 约 5.6 平 方 米 ) 实体 空间 (The Void，2015) 。 


为 同时 搭载 6 ~ 8 名 玩家 ， 模 拟 过 程 中 运用 的 实际 实现 技术 还 包含 一 台 自 定义 设计 的 宽 视 场 (FOV) 立体 头 戴 式 显示 器 。 
像 由 玩家 背部 穿戴 的 轻型 便携 式 计算 机 生成 ， 显 示 器 、 玩 家 双手 及 手持 式 武器 的 位 置 与 方向 则 由 光学 传感器 和 惯性 传感器 同时 监 


控 。 


实现 虚拟 现实 的 另 一 途径 则 选取 了 截然 不 同 的 角度 。 与 上 文中 用 户 一 面 面 对 完全 沉浸 式 显 示 器 中 精确 校准 的 画面 、 一 面 与 实 
体 环境 交互 的 方式 不 同 ， 这 一 途径 使 用 增强 现实 显示 器 将 计算 机 生成 的 虚拟 物体 置 于 用 户 所 在 的 真实 世界 。 最 近 的 例子 包括 使 用 


Microsoft HoloLens 显 示 器 的 桌面 应 用 《我 的 世界 》 (Minecraft) 。 


3. 自 由 漫游 
与 混合 现实 场景 不 同 的 是 ， 自 由 漫游 类 游戏 完全 依赖 头 戴 式 显 示 器 以 图 像 展 现 出 的 虚拟 环境 ， 让 玩家 在 固定 空间 范围 内 自由 


移动 。 位 于 澳大利亚 墨尔本 的 Zero Latency PTY LTD 游 戏 中 心 便 是 一 个 范例 。 如 图 13-4 所 示 ，Zero Latency 向 游戏 参与 者 提供 
一 台 完 全 沉浸 式 宽 视 场 头 戴 式 显示 器 ， 由 小 背包 中 的 轻型 Dell Alienware Alpha 游 戏 计算 机 驱动 ， 通 过 光学 追踪 器 (以 单 点 发 光 
球体 显示 ) 和 惯性 传感器 共同 监控 玩家 头 部 和 武器 的 位 置 与 方向 。 可 容纳 多 名 玩家 参与 时 长 50 分 钟 游戏 任务 的 实际 游戏 空间 为 


400 平 方 米 (4300 平 方 英尺 ) (Simpson，2015) 。 





图 13-4 ”此 分 屏 为 澳大利亚 墨尔本 Zeto Latency 庶 拟 娱乐 中 心 所 采用 的 自由 漫游 类 游戏 设施 





墨尔本 














片 来 源 : Zero Latency Pty PTD， 澳 大 利 i 


鉴于 使 能 技术 在 商业 领域 应 用 的 时 间 较 短 (许多 仍 处 于 原型 阶段 )， 与 各 类 技术 的 早期 应 用 者 一 样 ， 上 文 列举 的 基于 位 置 的 
娱乐 场馆 都 有 各 自 的 不 足 之 处 。 但 是 ， 这 些 企业 仍然 强 有 力 地 展示 了 基于 位 置 的 娱乐 未 来 的 发 展 方向 。 











13.3 ”沉浸 式 视 频 / 电 影 虚拟 现实 
沉浸 式 视频 的 基本 概念 名 副 其 实 。 传 统 视频 或 影片 制作 中 ， 由 导演 或 摄像 师 选择 或 框 定 需要 捕 皖 的 具体 画面 ， 再 由 剪辑 师 剪 
端 用 户 看 到 的 画面 。 而 在 沉浸 式 视 频 当 中 ， 使 用 专门 的 摄像 系统 同时 捕捉 所 有 方向 的 画面 ， 由 终端 用 户 自 行 


掌控 终端 


接 各 个 片段 ， 掌 控 终 


选择 观看 视频 的 方向 和 特性 。 
尽管 标准 的 360" 视 频 〈 即 投入 球体 中 的 平面 等 距 柱状 视频 ) 已 问世 多 年 ， 并 不 新 奇 ， 但 360" 立 体 摄像 机 的 发 明 仍 是 这 一 领 


频 
域 的 重大 进步 ， 详 见 图 13-5。 图 中 的 所 有 系统 都 可 同时 捕捉 360* 左 、 右 眼 景观 ， 生 成 的 图 像 可 用 头 戴 式 立体 显示 器 观看 。 





图 13-5 ”图 中 的 三 个 摄像 系统 均 用 于 拍摄 360 ”立体 视频 ， 分 别 为 Jaunt ONE (中 上 部 ) 、NextVR 虚 拟 现实 数字 电影 系统 ( 左 ) 
及 Vuze 消 费 者 自控 3D 摄 像 头 ( 右 ) 














到 片 来 源 : NextVR、Jaunt 和 HumaneyesG@Technologies 公 司 


这 项 技术 在 众多 娱乐 板块 中 拥有 巨大 的 应 用 潜力 和 潜在 影响 ， 既 能 跟随 野外 活动 爱好 者 在 热带 雨林 漫步 时 捕捉 自然 奇观 ， 又 
能 将 专业 摄像 设备 策略 性 地 布置 于 体育 馆 中 ， 全 方位 地 拍摄 体育 赛事 并 制 成 360" 沉 浸 式 立 体 视 频 ， 用 于 网 络 直播 。 


2014 年 8 月 ， 乐 坛 大 师 保 罗 : 麦 卡特 尼 (Paul McCartney) 与 加 利 福 尼 亚 州 帕 洛 阿尔 托 市 的 Jaunt Inc. 合 作 ， 运 用 这 一 技术 
做 出 了 一 次 令 音乐 和 电影 行业 刊 目 相 看 的 先锋 式 创举 。 他 们 利用 360° 立 体 摄像 系统 ， 记 录 了 麦 卡 特 尼 在 旧金山 烛台 公园 举办 的 
演唱 会 。 从 图 13-6 可 以 看 到 图 13-5 中 Jaunt 摄 像 机 的 早期 版 本 。 三 台 这 一 版 本 的 摄像 系统 布置 在 舞台 的 不 同位 置 ， 从 不 同 角度 拍 
摄 了 这 次 演唱 会 。 最 后 ， 还 发 布 了 适用 于 Google Cardboard/Samsung VR 显示 器 的 免费 手机 APP， 使 用 户 可 以 一 边 (用 耳 
机 ) 聆听 双 耳 音频 ， 一 边 通 过 360° 立 体 视频 观看 麦 卡 特 尼 名 曲 《Live and Let Die》 的 现场 表演 (Ong，2014) 。 
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图 13-6 ”本 照片 中 ， 乐 坛 大 师 保罗 . 麦 卡 特 尼 在 演唱 会 的 表演 由 较 早 版 本 的 Jaunt ONE 摄 像 系统 录制 并 制作 为 360 ”立体 视频 








图 片 来 源 : Jaunt 公 司 








尽管 这 一 系统 的 配置 一 直 在 调整 变化 ， 本 书写 作 时 ，Jaunt 摄 像 机 的 赤道 仪 上 已 装 有 16 个 独立 摄像 头 ， 以 及 项 部 和 底部 各 4 
个 ， 录 制 分 辨 率 均 为 4K。 录 制 输出 的 24 个 单独 文件 将 被 上 传 至 Jaunt 的 云端 传输 管道 ， 合 并 为 兼容 左 、 右 眼 全 景 视频 的 单一 文 
件 ， 其 格式 可 由 大 部 分 视频 编辑 工具 导入 并 读 取 (Murie，2016) 。 


好 莱 坞 的 许多 大 型 工作 室 也 开始 使 用 这 些 系统 ， 尽 管 考虑 到 这 一 媒介 对 于 娱乐 和 媒体 行业 的 陌生 性 ， 目 前 仪 限 探索 和 实验 用 
途 。 当 前 ， 必 须 首先 开发 出 以 电影 虚拟 现实 技术 拍摄 并 表现 叙事 片 的 全 新 方式 。 


13.4 结论 


从 《Pongy》 等 首 批 电脑 游戏 问世 开始 ， 开 发 者 们 一 直 在 不 断 探索 新 的 工具 与 技术 ， 力 图 吸引 玩家 全 情 投 入 于 游戏 体验 之 
中 。 从 那 时 起 ， 无 论 是 图 像 与 显示 质量 、 交 互 工具 ， 还 是 从 单机 街机 游戏 到 连接 干 家 万 户 的 全 球 网 络 化 第 一 人 称 游戏 的 转变 ， 快 
速 发 展 的 游戏 行业 都 取得 了 惊人 的 进步 。 显 然 ， 虚 拟 现实 游戏 便 是 变革 的 下 一 步 ， 且 很 有 可 能 成 为 虚拟 现实 行业 在 未 来 数 年 内 的 
主要 收入 管道 。 


增强 现实 游戏 应 用 亦 然 。 尽 管 发 展 及 上 市 时 间 短 ， 但 得 益 于 其 可 能 带 来 的 全 新 游戏 体验 ， 这 一 特殊 领域 拥有 着 巨大 的 潜力 。 
完全 沉浸 式 设施 也 有 着 诸多 优点 ， 例 如 减轻 与 墙壁 和 实际 物体 碰撞 的 不 适 感 ， 及 实际 游戏 环境 变化 的 无 限 可 能 。 


这 类 技术 在 电影 行业 的 运用 则 截然 不 同 。20 世 纪 70 年 代 中 期 ， 首 批 个 人 电脑 面世 时 ， 许 多 人 抓 耳 挠 腮 ， 难 以 想象 这 一 技术 
的 最 终 应 用 方式 。 绝 大 多 数 人 没有 想到 ， 复 杂 的 信息 系统 与 现代 社会 竟 能 如 此 水 乳 交 融 。 从 许多 方面 来 说 ， 虚 拟 现实 技术 在 好 莱 
坞 电影 制作 中 的 应 用 也 正面 临 相同 的 问题 。 当 然 ， 最 初 的 答案 总 会 落 到 “交互 式 影 院 ” 一 词 上 。 但 随 着 这 一 话题 探讨 的 深入 ， 至 
少 在 目前 ， 我 们 发 现 的 问题 远 多 过 解答 。 专 业 的 电影 工作 者 们 已 经 意识 到 手中 工具 的 强大 力量 ， 但 如 何 特 驭 这 一 工具 仍 处 于 探索 


阶段 。 


举例 而 言 ， 电 影 制作 的 整体 艺术 与 科学 演变 经 历 了 100 多 年 ， 涵 盖 方 方面 面 ， 从 摄影 机 在 场景 中 的 定位 与 走 位 、 灯 光 的 有 效 
运用 、 观 众 视角 与 注意 力 的 引导 、 直 到 对 个 人 所 听 所 见 的 全 面 操控 。 所 有 这 些 ， 连 同 数 干 种 明确 界定 的 其 他 方法 与 技术 ， 共 同 构 
成 了 电影 工作 者 透 过 二 维 平 面 与 观众 交流 的 画面 与 声音 语言 。 制 片 人 、 导 演 和 后 期 团队 正 是 通过 这 一 复杂 的 画面 与 声音 语言 ， 让 
观众 置身 于 另 一 个 世界 ， 控 制 他 们 的 情绪 ， 有 些 东西 甚至 令 人 铭记 终身 。 即 使 只 是 将 平面 银幕 转变 为 环绕 式 或 加 入 些许 互动 ， 
一 媒介 的 改变 都 会 对 奠定 电影 语言 根基 的 艺术 与 科学 产生 直接 影响 。 


xf 


直接 360" 视 频 捕捉 、 即 时 传输 或 延迟 回放 技术 越 来 越 多 地 应 用 于 各 类 活动 ， 如 大 型 联赛 、 演 唱 会 ， 等 等 。 在 这 一 过 程 中 ， 
人 们 已 经 找到 一 些 问题 的 答案 ， 这 一 新 兴 媒 介 的 语言 也 在 逐步 构建 。 


第 14 章 ”建筑 与 施工 


从 协助 建筑 师 优化 设计 理念 ， 到 帮助 总 承包 商 更 有 效 地 管理 涉及 多 种 领域 的 大 型 项 目 ， 再 到 促进 现 有 房产 的 销售 ， 沉 浸 式 虚 
拟 现实 系统 对 建筑 、 工 程 和 施工 行业 有 着 变革 性 的 影响 。 本 章 将 举 出 大 、 小 型 企业 案例 ， 前 明 此 类 新 兴 显 示 工 具 在 设计 、 传 播 和 
项 目 管理 领域 的 广泛 应 用 。 


14.1 ”人造 空间 


空间 视 像 化 一 这 一 在 脑海 中 构建 并 操纵 二 维 与 三 维 图 形 的 能 力 是 人 类 大 脑 的 又 一 项 神奇 能 力 。 在 建筑 领域 ， 设 计 者 们 正 
仰赖 于 这 种 能 力 ， 在 心中 构想 各 种 空间 与 形体 的 复杂 三 维 结构 ， 分 辨 它们 在 不 同 材料 选择 与 各 种 灯光 条 件 下 的 差异 ， 模 拟 它们 与 
各 色 建 筑 体系 与 过 程 的 互动 关系 。 


但 这 一 能 力也 有 局 限 。 举 例 而 言 ， 结 构 或 空间 的 复杂 性 越 大 ， 将 心中 的 构想 外 化 的 需求 就 越 高 。 因 为 只 有 这 样 ， 才 能 更 细节 
直观 地 进行 检验 与 确认 ， 并 更 好 地 与 客户 沟通 设计 理念 。 


开始 施工 之 前 ， 设 计 师 使 用 传统 的 方式 对 设计 理念 与 决策 进行 外 化 表达 ， 并 做 出 评估 及 交流 。 这 些 传统 方式 既 包 括 手 绘图 
纸 、 电 脑 实时 绘制 等 平面 形式 ， 也 包括 实体 桌面 模型 的 内 部 透视 和 计算 机 工作 站 中 的 实时 建筑 漫游 等 形式 。 这 些 方式 的 确 能 在 一 
定 程 度 上 体现 建筑 空间 的 形态 ， 但 当 建筑 师 一 一 也 许 更 重要 的 ， 是 当 未 经 训练 的 客户 一 一 试图 了 解 设 计 当 中 复杂 的 几何 结构 、 
度量 单位 和 空间 互动 时 ， 总 会 发 党 将 心目 中 对 某 一 结构 的 设想 精确 付 诸 图纸 是 一 项 极为 艰巨 的 任务 。 





从 把 单个 实现 技术 七 拼 八 凑 ， 创 建功 能 性 完全 沉浸 式 虚 拟 现实 系统 的 早期 实践 开始 ， 建 筑 行业 已 然 是 其 探索 的 主要 应 用 领域 
之 一 。 此 后 ， 建 筑 师 、 工 程 师 、 专 业 在 读 学 生 、 房 产 代理 等 业界 人 士 也 愈 发 依赖 于 沉浸 式 建筑 漫游 ， 有 效 外 化 并 体验 复杂 的 住 宕 
3D 结 构 。 


在 本 章 中 ， 我 们 将 探讨 沉浸 式 及 半 沉 浸 式 虚拟 现实 与 增强 现实 技术 在 这 一 领域 的 各 种 运用 。 和 本 书 中 详 述 的 其 他 应 用 领域 一 
样 ， 我 们 选取 了 代表 性 的 案例 ， 力 图 激发 读者 对 虚拟 界面 技术 演变 及 创造 性 应 用 的 思考 。 


14.2 ”建筑 设计 : Mangan Group Architects 


建筑 师 或 工程 师 在 传统 平面 显示 器 上 查看 三 维 CAD 模 型 ， 再 在 心中 构想 设计 内 部 的 实际 空间 特点 是 一 回 事 。 在 尚未 破土 动 
工 前 ， 戴 上 头 戴 式 显示 器 ， 漫 步 于 1: 1 比例 的 同一 个 CAD 模 型 中 ， 评 估 空 间 的 实体 与 功能 特点 ， 甚 至 查找 水 管 与 暖 通 空调 系统 
间 的 冲突 ， 则 完全 是 另 一 回 事 。 第 二 种 场景 正在 全 世界 越 来 越 多 的 建筑 事务 所 办 公 室 里 切切 实 实地 发 生 着 。 同 样 ， 这 些 工具 也 可 
以 用 来 帮助 客户 审查 设计 ， 及 在 项 目 锁定 招标 之 前 做 出 修改 。 


位 于 马里 兰州 塔 科 马公 园 的 Mangan Group Architects 很 好 地 展示 了 此 类 技术 简单 而 强大 的 应 用 性 。 作 为 专注 于 建筑 改 
造 、 量 产 住 宅 和 小 型 商业 项 目的 小 型 一 站 式 建 筑 事务 所 ，Mangan Group 经 常 使 用 沉浸 式 虚 拟 现实 模拟 ， 实 现 建筑 团队 内 部 的 
有 效 沟 通 与 协作 ， 并 使 客户 有 机 会 漫步 于 与 实物 同比 的 设计 当中 ， 随 心 所 欲 地 选择 并 做 出 必要 的 改变 。 


该 公司 近期 的 酒店 改造 项 目 便 是 一 个 例子 ， 作 为 项 目 客 户 ， 开 发 商 可 以 形象 地 看 到 拟 行 方案 中 的 客房 、 吊 顶 和 其 他 方面 的 设 
计 。 在 查看 过 程 中 ， 只 需 一 个 按钮 ， 客 户 就 可 以 调整 布局 和 设计 ， 在 预先 编制 好 的 各 种 外 观 和 组 件 功能 间 任 意 切 换 (如 ， 将 固定 
隔 板 改 为 推拉 式 ) 。 


如 图 14-1 所 示 ， 办 公 室 配备 的 基本 硬件 是 一 台 Oculus DK2 立 体 头 戴 式 显 示 器 (参见 第 6 章 ) ， 一 个 小 型 红外 传感器 ( 装 在 
桌面 监视 器 上 ) ， 用 来 追踪 显示 器 内 置 的 红外 LED 的 阵列 位 置 与 方向 ， 以 及 一 个 便于 导航 和 视角 转换 的 Microsoft Xbox 手持 控 
制 器 。 





图 14-1 一 位 Mangan Group 公司 的 客户 正在 对 设计 方案 进行 沉浸 式 建筑 漫游 
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片 来 源 : Mangan Group Architects 公 司 





从 图 14-2 的 立体 像 对 可 以 看 出 ，Oculus DK2 头 戴 式 显示 器 向 客户 展示 的 是 相对 明亮 、 清 晰 度 适 中 的 有 源 矩 阵 
OLED (AMOLED) 图 像 (单眼 960x1080) ， 用 户 通 过 控制 器 操纵 其 在 设计 模型 中 的 视角 。 图 像 随 着 用 户头 部 的 移动 而 流畅 转 
换 ， 位 置 /方向 追踪 的 延迟 时 间 在 20 毫 秒 以 内 。 





图 14-2 ”Mangan Group 公司 客户 使 用 头 戴 式 显示 器 漫游 设计 方案 时 ， 标 准 桌 面 监视 器 将 同步 显示 显示 器 中 的 立体 像 对 ， 方 便 设计 
师 及 他 人 随时 查看 客户 所 看 到 的 模型 位 置 


图 片 来 源 : Mangan Group Architects 公 司 


通过 简单 的 软件 路 径 ， 便 可 在 Oculus 系 统 中 制作 业内 标准 的 CAD 模 型 。 例 如 ， 把 CAD 文 件 直接 导入 Utility 3D 游 戏 引 擎 ， 便 
可 以 添加 定制 材料 质地 、 灯 光 与 阴影 等 视 沉 效果， 或 进行 其 他 处 理 以 反映 设计 理念 。 


依据 Mangan Group 的 理念 ， 将 上 述 技术 应 用 于 工作 流程 正在 对 其 项 目 设计 产生 积极 的 影响 ， 更 重要 的 是 ， 他 们 得 以 与 客 
户 更 清晰 、 深 入 地 交流 、 达 成 共识 ， 并 在 设计 阶段 做 出 更 为 准确 合理 的 决策 。 


需要 重点 强调 的 是 ， 上 述 技术 在 特定 领域 中 的 应 用 不 再 轿 于 资金 充足 的 研究 机 构 或 企业 研发 部 门 。 事 实 上 ,，Mangan 
Group 只 有 6 名 员工 ， 年 度 总 营 收 不 足 100 万 美元 ， 这 一 案例 清楚 地 展示 了 此 类 技术 在 小 型 企业 中 应 用 的 可 能 性 。 


14.4 ”房地产 销售 应 用 


除了 辅助 设计 与 施工 之 外 ， 沉 浸 式 与 半 沉 浸 式 虚拟 现实 系统 也 是 促进 现房 销售 的 有 力 工具 。 例 如 ， 位 于 洛杉矶 的 Matthew 
Hood Real Estate Group 隶属 苏 富 比 国际 房地产 ， 他 们 正在 利用 各 种 技术 手段 向 客户 展示 南 加 州 和 纽约 的 豪宅 。 


图 14-8 中 ，Hood 的 团队 利用 安装 在 三 脚 架 上 的 电动 可 旋转 Matterport 摄 像 机 ， 以 点 云 形 式 同时 拍摄 高 动态 范围 (HDR) 
图 像 与 详细 的 三 维 空间 数据 。 通 过 平面 电脑 上 的 应 用 程序 控制 摄像 头 ， 使 其 沿 着 轨道 穿行 于 住宅 或 公寓 ， 在 几 小 时 内 全 程 扫 描 大 
量 影像 ， 再 将 这 些 数据 上 传 至 Matterport 云 端 服务 器 ， 计 算 各 点 间 的 相互 关系 后 生成 多边 形 网 格 ， 并 将 所 有 扫 摘 影像 进行 无 颖 
拼接 。 

最 终 的 交付 成 果 是 对 整个 房产 的 高 清 、 精 尺 、 高 仿真 3D 模 型 ， 如 图 14-9 中 的 “户型 模型 ”。 这 一 模型 可 导入 许多 通用 的 设 
计 实 用 工具 ,如 Maya、AutoCAD、Revit、SolidqWorks、Utility 软 件 框架 或 其 他 图 形 引 擎 ， 并 用 掌上 浏览 器 、 移 动 设备 、 头 戴 


式 显示 器 等 显示 设备 浏览 。 





图 14-8 ”利用 Matterport Pro 3D 摄 像 机 扫描 室内 空间 的 高 清 3D 影 像 。 本 图 是 实际 扫描 影像 中 的 一 幅 单 一 视角 图 像 
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片 来 源 : MatthewHoodRE .com/Matterport， 公 司 





图 14-9 ”本 图 是 利用 Matterport Pro 3D 摄 像 机 拍摄 的 多 幅 扫 描 影 像 创建 的 3D 户 型 模型 示例 。 模 型 已 导入 模拟 实用 工具 ， 可 用 立体 
头 戴 式 显示 器 查看 





图 片 来 源 : Matterport 公 司 


与 从 固定 视角 拍摄 某 一 空间 的 全 景 照片 或 者 观看 者 只 能 转换 视角 方向 (转动 、 倾 斜 、 摇 摆 ) 的 球面 视频 不 同 ， 利 用 
Matterport 等 扫描 设备 创建 的 三 维 几 何 模型 能 让 用 户 在 拍摄 所 得 的 三 维 几 何 结构 中 自由 探索 。 


如 今 ， 售 房 者 会 向 潜在 买 家 提供 三 星 Gear VR 显示 器 (参见 第 6 章 ) 和 手持 控制 器 ， 让 他 们 能 在 模型 中 自由 穿梭 。 房 产 经 纪 
只 需 通 过 桌面 监视 器 ， 便 可 随时 知道 用 户 当下 查看 的 内 容 ， 带 领 用 户 身 临 其 境地 参观 房产 并 讲解 他 们 感 兴趣 的 部 分 。 


这 些 技 术 的 应 用 特别 适用 于 Hood 公 司 面向 的 地 区 和 服务 对 象 。 在 单一 场所 ， 以 较 高 效率 向 客户 提供 多 套房 产 的 深度 介绍 ， 
缩小 他 们 的 兴趣 范围 ， 帮 助 该 公司 节省 了 大 量 时 间 与 精力 ， 也 免 去 因 交通 不 便 造 成 的 跋涉 之 苦 。 


Hood 的 应 用 经 验 已 然 证 明 这 些 技术 的 实用 性 与 强大 的 功能 ， 他 们 正在 美国 其 他 办 事 处 大 力 推广 此 项 实践 应 用 。 通 过 这 一 策 
略 ， 位 于 国家 另 一 端 甚至 世界 其 他 地 区 的 经 纪 人 也 可 以 向 客户 展示 房产 的 虚拟 模型 ， 免 去 前 往 房产 实际 所 在 地 的 麻烦 。 


14.5 “建筑 声学 


建筑 空间 的 建 模 与 模拟 并 不 局 限于 视觉 领域 。 越 来 越 多 的 建筑 设计 事务 所 正在 利用 复杂 的 声学 建 模 软件 工具 ， 预 测 空间 或 结 
构 的 声波 性 能 ， 帮 助 客户 选 定 最 佳 的 设计 方案 。 这 些 软件 包 可 将 基本 CAD 几 何 结构 和 建筑 材料 的 声学 性 能 导入 到 模型 的 反射 、 
传播 、 衍 射 等 路 径 。 这 些 模拟 可 与 实时 可 视 化 漫游 相 结 合 ， 通 过 互动 形式 实现 功能 ， 向 建筑 师 与 客户 精准 、 多 重 感 官 地 展现 设计 
方案 及 其 他 蔡 代 方案 。 


这 些 功能 也 为 越 来 越 多 的 电脑 游戏 和 其 他 沉浸 式 娱 乐 场景 所 利用 ， 以 提升 模拟 的 真实 性 。 北 卡罗来纳 州 卡 勃 罗 市 的 
Impulsonic 公 司 是 本 领域 软件 开发 商 中 的 佼佼 者 。 


第 15 草 科学 与 工程 


交互 沉浸 式 显 示 系 统 正 被 广泛 运用 于 许多 工程 领域 。 从 设计 程序 伊始 ， 到 跨 地 域 、 跨 学 科 团队 的 决策 过 程 ， 这 些 技 术 对 于 设 
计 质 量 、 成 本 控制 、 流 程 效率 等 均 有 着 深远 影响 。 在 本 章 中 ， 我 们 将 探讨 其 在 各 种 工程 领域 的 一 系列 应 用 ， 重 点 讨论 各 领域 共同 
的 挑战 及 交互 沉浸 式 显 示 系 统 所 带 来 的 可 量化 的 好 处 。 


15.1 模拟 与 创新 


虚拟 与 增强 现实 正 逐 步 成 为 航空 航天 、 汽 车 设计 、 船 舶 制造 、 土 建 工程 等 多 个 工程 领域 的 重要 工具 。 它 们 不 仅 能 向 客户 传达 
设计 理念 ， 还 对 工程 实践 、 制 造 生产 与 维修 保养 流程 产生 了 明显 、 可 量化 的 影响 ， 能 够 提升 交付 质量 ， 减 少 设计 瑕 站 ， 缩 减 成 本 
与 工时 。 这 是 因为 VR 和 AR 技术 能 规模 化 地 呈现 并 审视 大 型 数据 集 ， 通 过 及 早 发 现 问题 、 提 高 合作 与 决策 效率 、 从 多 个 视角 分 析 
复杂 的 系统 (这 是 传统 显示 方式 无 法 做 到 的 ) ， 降 低 甚至 消除 制作 实物 模型 的 需要 。 正 是 基于 这 些 工 具 在 诸多 领域 中 的 重要 性 ， 
美国 国家 工程 院 将 改进 虚拟 现实 系统 列 为 21 世 纪 工 程 学 所 面临 的 14 大 挑战 之 一 (NAE，2015) 。 


本 章 将 讨论 数 个 工程 领域 的 关键 应 用 实例 ， 这 些 案例 将 按 不 同行 业 ， 重 点 描述 因 使 用 各 种 虚拟 与 增强 现实 系统 而 产生 的 设计 
间 题 及 所 得 优势 。 


15.2 ”船舶 制造 与 海洋 工程 


造船 工程 师 与 海洋 工程 师 所 面临 的 各 种 设计 挑战 与 传统 建筑 师 相似 ， 但 又 往往 更 为 艰巨 。 工 程 师 们 必须 在 一 个 有 限 体积 的 独 
立 机 体内 融入 各 种 系统 ， 用 于 推进 与 操纵 、 发 电 与 配 电 、 暖 通 空 调 、 配 水 与 排水 、 货 物 搬运 ， 等 等 。 由 于 大 部 分 船只 都 有 机 组 人 
员 ， 还 要 包含 生活 空间 与 通道 、 厨 卫 及 其 他 必要 设施 。 为 了 在 水 中 航行 ， 船 体 必须 保持 最 小 的 阻力 ， 有 时 还 要 尽 可 能 少 地 扰动 水 
面 。 考 虑 到 严 苛 的 航行 条 件 ， 船 舶 必须 设置 多 个 水 密 舱 ， 甚 至 建造 一 层 以 上 的 船体 ， 还 必须 能 够 抵御 波浪 作用 及 外 部 环境 的 巨大 
影响 。 这 些 仅仅 是 制造 一 艘 能 够 运行 、 适 于 航海 县 能 独立 运转 的 船只 的 基本 要 求 。 根 据 用 途 或 任务 的 不 同 ， 可 能 还 要 建造 数量 繁 
多 的 船 载 系统 。 以 战舰 为 例 ， 除 上 述 所 有 设施 外 ， 还 要 安装 攻击 及 防御 性 武器 系统 ， 具 备 停放 、 检 修 、 发 射 及 回收 飞行 器 或 小 型 
船只 的 功能 ， 配 备 大 量 传感器 等 其 他 设备 。 


为 了 把 大 型 造船 项 目的 功能 规格 转换 为 高 效率 、 低 成 本 的 设计 方案 ， 船 舶 制造 商 成 了 沉浸 式 3D 可 视 化 技术 的 最 早 应 用 者 之 
一 。 这 项 工作 的 开展 往往 早 于 工程 工艺 ， 有 时 甚至 在 原材料 加 工 数 年 之 前 便 已 展开 。 其 中 的 代表 是 跨国 国防 、 安 保 及 航空 企业 英 
国 宇航 系统 公司 (BAE) ， 其 总 部 位 于 伦敦 。 


15.2.1 英国 皇家 海军 26 型 全 球 战斗 舰 


在 最 近 的 两 个 案例 中 ，BAE 的 工程 师 将 大 规模 沉浸 式 3D 显 示 技 术 应 用 于 英国 皇家 海军 26 型 全 球 战 斗 舰 及 巡防 舰 的 设计 与 原 
型 制作 中 (参见 图 15-1) 。 预 计 两 艘 新 战舰 都 将 在 2017 ~ 2020 年 间 开 始 服役 (RINA，2011) ， 设 计 用 于 各 类 战事 中 的 联合 跨 
国 作 战 ， 包 括 复杂 作战 运用 、 打 击 海盗 以 及 参与 人 道 主义 与 灾害 救援 。 


借助 Sener FORAN CAD/CAM 船 舶 设计 系统 和 PTC 公 司 (前 身 为 Parametric Technology Corporation) 的 Windchill 产 品 
生命 周期 管理 (PLM) 程序 ， 来 自 不 同 领 域 的 工程 师 得 以 利用 英国 柴 郡 Virtalis 有 限 公 司 的 大 幅面 3D 显 示 方 案 ， 以 模型 的 方式 可 
视 化 呈现 船舶 在 设计 、 制 作 和 组 装 等 不 同 阶段 的 状况 。 他 们 至 少 建造 了 5 人 台 不 同 配置 的 可 视 化 组 件 ，3 台 位 于 BAE 在 格拉 斯 哥 的 船 
厂 ， 另 外 2 台 分 别 位 于 朴 尝 茅 斯 和 布 里 斯 托 基地 。 所 有 系统 都 已 联网 ， 确 保 身 处 不 同 地 点 的 团队 能 够 密切 配合 。 


如 图 15-2 所 示 ， 不 同 的 系统 使 位 于 一 个 或 多 个 地 点 的 一 名 及 多 名 工程 人 员 ， 以 传统 技术 无 法 提供 的 角度 、 比 例 及 子 系 统合 
并 视角 ， 探 索 及 评估 交流 的 每 一 十 设计 。 


尽管 26 型 战舰 至 2016 年 末 才 会 陆续 下 水 ,但 通过 上 述 模拟 与 可 视 化 系统 的 广泛 利用 ， 工 程 师 们 目前 已 经 在 敲定 利益 相关 方 
提出 的 天 键 性 设计 修改 意见 。 试 举 一 例 ， 皇 家 海军 提出 了 在 直升机 甲板 上 新 增 一 个 瞳 望 台 、 设 一 名 军官 监测 梅林 直升机 起 降 的 意 
见 ， 工 程 师 们 很 快 便 修改 了 设计 ， 并 利用 模拟 系统 进行 了 视 场 (FOV) 与 视线 分 析 ， 确 保修 改 的 妥善 实施 。 


15.2.2 ”英国 皇家 海军 机 敏 级 核潜艇 


上 述 战舰 项 目 并 非 BAE 首 次 尝试 将 此 等 可 视 化 技术 应 用 于 皇家 海军 船舶 设计 与 建造 ， 在 此 之 前 ， 它 们 已 经 被 用 来 设计 与 建造 
机 敏 级 核潜艇 。 机 敏 级 核潜艇 卉 称 有 史 以 来 最 为 复杂 的 机 械 之 一 。 用 于 该 项 目的 沉浸 式 显示 技术 的 一 大 独特 性 在 于 ， 该 公司 不 仅 
向 跨 领域 的 工程 团队 提供 该 项 可 视 化 方案 ， 还 同时 人 允许 在 施工 过 程 中 身 处 英格兰 巴 罗 因 弗 内 斯 的 船舶 建造 组 装 厂 内 的 所 有 焊接 
工 、 管 装 工 、 电 工 及 其 他 工人 使 用 该 方案 。 


图 15-1 位 于 伦敦 的 英国 宇航 系统 公司 将 各 种 沉浸 式 显 示 技 术 用 于 英国 皇家 海军 水 面 战 斗 舰 艇 的 设计 辅助 工作 


图 片 来 源 : 英国 宇航 系统 公司 


图 15-2 ”英国 宇航 系统 公司 的 工程 师 们 利用 多 边 计 算 机 辅助 虚拟 环境 显示 器 和 大 型 3D 投 影 墙 ， 自 由 探索 即将 建造 的 战舰 的 复杂 





设计 














习 片 来 源 ， 英国 宇 航 系统 公司 




















为 了 满足 这 一 要 求 ， 除 了 不 同 设计 地 点 配备 的 3 套 “VR 组 件 ” 外 ，Virtalis 公 司 还 向 BAE 提 供 了 2 个 背 投 式 “VR 舱 ”， 布置 于 
在 建 潜水 艇 的 台 架 上 ， 直 接替 代 了 昂贵 的 实物 模型 。 他 们 鼓励 工人 进入 舱 内 使 用 相关 系统 ， 以 求 更 好 地 熟悉 其 工作 部 门 的 具体 细 
节 ， 并 且 分 析 他 们 面临 的 建造 或 安装 问题 (Virtalis，2010) 。BAE 表 示 ， 这 一 系统 应 用 带 来 了 巨大 的 好 处 ， 包 括 减 少 了 用 于 实 
物 模型 的 时 间 、 资 金 与 精力 ， 提 升 了 设计 /建造 产能 ， 也 能 及 早 发 现 设计 冲突 。2015 年 ， 该 公司 接 到 了 7 艘 船只 的 订单 ， 其 中 3 条 
已 交付 并 下 水 ， 另 外 4 艘 将 在 2024 年 之 前 交付 。 随 着 每 艘 船只 的 完工 与 启 航 ， 设 计 上 的 修改 与 更 新 都 将 用 于 生产 线 上 的 下 一 批 般 
只 。 迄 今 为 止 ， 虚拟 现 实 系 统 仍然 是 传播 设计 /建造 流程 不 可 或 缺 的 一 部 分 。 


15.3 汽车 工程 


在 每 年 的 车 辆 生产 与 车 款 开 发 中 ， 汽 车 公司 总 会 面临 许多 特有 的 设计 与 工程 问题 。 汽 车 是 由 成 王 上 万 个 零件 和 几 十 个 部 件 构 
成 的 复杂 机 械 ， 每 一 个 零 部 件 必须 符合 准确 的 公差 和 性 能 标准 ， 并 将 两 者 完美 结合 在 一 起 ， 最 终 才能 满足 消费 者 对 汽车 可 靠 性 与 
外 观 的 期 待 。 需 要 严谨 设计 、 严 密 制 造 、 严 苛 测 试 的 不 仅仅 是 整 车 ， 还 包括 实际 组 装 流程 。 因 而 ， 从 大 型 汽车 制造 商 到 为 大 型 三 
商 提供 支持 的 小 型 设计 工作 室 ， 工 程 师 们 始终 在 寻找 新 的 工具 与 方法 ， 力 求 设计 制造 出 更 精确 、 高 效 又 节约 成 本 的 拳头 产品 ， 沉 
浸 式 虚拟 环境 模拟 技术 为 实现 此 等 目标 提供 了 强 有 力 的 解决 方案 。 


福特 汽车 公司 


福特 汽车 公司 也 是 无 数 应 用 此 类 技术 的 汽车 制造 商 的 一 员 。 福 特 汽车 公司 位 于 密 软 根 州 迪 尔 伯 恩 市 ， 其 全 球 设计 师 与 工程 师 
利用 各 种 沉浸 式 显 示 技 术 开展 实时 合作 ， 完 成 了 从 机 械 系统 设计 、 汽 车 外 观 设 计 、 客 户 体 验 改善 ， 到 整体 制造 可 行 性 审查 、 工 艺 
流程 布置 、 对 生产 线 员 工 安全 的 人 体 工 学 研究 等 诸多 任务 。 


1. 设 计 分 析 


如 图 15-3 所 示 ， 可 视 化 系统 通过 NVIS 公 司 的 nVisor ST50 立 体 头 戴 式 显示 器 (参见 第 7 章 ) 向 设计 师 和 工程 师 传送 开发 中 车 
辆 的 高 清 立 体 图 像 。 





图 15-3 ”福特 汽车 公司 在 车 辆 设计 评估 中 大 量 使 用 沉浸 式 可 视 化 技术 ， 包 括 立 体 头 戴 式 显示 器 





9 片 来 源 ， 福 特 汽车 公司 











借助 这 些 可 视 化 工具 ， 不 仅 工人 能 在 车 辆 内 、 外 部 设计 逼真 的 原 尺寸 3D 模 型 中 自由 探索 ， 对 边缘 、 颖 阶 、 结 实 度 与 外 观 进 
行 精准 的 评估 ， 工 程 师 和 设计 师 也 能 自由 检阅 车 辆 的 基底 结构 ， 研 究 机 械 与 电气 系统 在 结构 内 的 互动 情况 。 


除了 位 于 美国 总 部 的 沉浸 实验 室外 ， 福 特 公司 还 在 澳大利亚 、 德 国 、 中 国 、 印 度 、 巴 西 和 墨西哥 建立 了 功能 类 似 的 设计 合作 
中 心 。 这 些 机 构 让 不 同 领域 的 工程 师 、 设 计 师 得 以 在 同一 虚拟 环境 下 合作 。 这 些 模拟 的 质量 非 同一 般 ， 能 极为 准确 地 向 设计 团队 
展示 和 车辆 的 色彩 渐变 、 对 比 、 阴 影 、 质 地 、 亮 度 及 反射 情况 。 


仅 在 2013 年 一 年 ， 福 特 设计 师 与 工程 师 便 利用 这 些 技术 对 193 个 虚拟 车 辆 原型 上 傅 135000 个 细节 进行 了 检查 
(Ford, 2013) 。 


在 这 些 系统 的 跨 领 域 应 用 过 程 中 ， 汽 车 设计 师 专 注 于 车 辆 的 外 观 与 客户 体验 ， 福 特 的 虚拟 制造 专家 则 对 设计 可 行 性 和 生产 线 
员工 的 安全 进行 详细 研究 。 同 样 ， 这 些 研究 早 在 新 车 上 市 两 三 年 前 便 可 开展 。 


3D 打 印 技术 也 在 这 类 模拟 场景 中 得 以 运用 。 在 图 15-4 的 示例 中 ， 工 作 人 员 制 作 了 2015 款 F-150 轻 型 货车 的 传动 装置 实体 模 
型 ， 用 于 组 装 线 接合 工艺 的 研究 。 (注意 该 传动 装置 模型 上 的 反光 标记 、 操 作 人 员 的 手 、 头 戴 式 显 示 器 和 脚手架 上 的 红外 光学 追 
踪 系 统 。) 





图 15-4 本 图 中 ， 一 名 福特 工程 师 在 虚拟 现实 模拟 中 使 用 了 一 个 简单 的 传动 系统 3D 打 印 模型 ， 以 验证 2015 款 F-150 轻 型 货车 的 组 
装 线 接 合 工 艺 。 实 践 证 明 ， 相 比 于 单独 的 虚拟 模拟 ， 这 种 测试 可 靠 性 更 高 ， 也 能 推动 更 好 的 生产 决策 


图 片 来 源 ， 福 特 汽车 公司 





福特 公司 表示 ， 在 这 些 模拟 研究 以 及 新 的 人 体 工学 技术 、 辅 助 提升 设备 、 工 作 站 重新 设计 和 数据 驱动 工艺 变更 的 帮助 下 ， 其 
在 美国 的 5 万 名 “行业 竞 跑 者 ”及 世界 各 地 更 多 员工 的 受伤 率 降 低 了 70% (Ford，2015) 。 


15.4 ”航空 航天 工程 


航空 航天 工程 注重 航空 航天 系统 的 设计 、 开 发 与 测试 。 无 论 是 飞机 、 载 人 与 无 人 飞船 ， 还 是 火箭 和 导弹 ， 由 于 整体 复杂 性 
高 、 运 行 条件 严 苟 和 关键 任务 的 性 质 ， 这 些 系统 在 设计 上 都 面临 着 极 大 的 挑战 。 随 着 系统 复杂 性 的 增加 ， 对 多 层次 设计 与 开发 审 
查 的 要 求 也 在 不 断 提 高 ， 在 尽量 减少 错误 与 系统 冲突 的 同时 ， 还 必须 将 高 投入 项 目的 回报 最 大 化 。 


德 .马丁 公司 位 于 马里 兰州 贝 塞 斯 达 市 ， 是 一 家 全 球 安保 与 航空 航天 公司 。 在 航空 航天 领域 综合 运用 可 视 化 技术 方 
德 .马丁 做 出 了 良好 的 表率 。 该 公司 拥有 多 个 虚拟 模拟 设施 ， 其 中 综合 性 最 强 的 是 位 于 科罗拉多 州 利 特 尔 顿 的 协同 真 
人 临 境 实验 室 (CHIL) 。 以 下 案例 将 概要 介绍 这 些 技术 在 洛克 希 德 :马丁 公司 各 业务 部 门 各 种 项 目 中 的 应 用 。 


1. 航 天 系统 


美国 宇航 局 (NASA) 选 定 洛克 希 德 : 马 丁 作 为 其 首 台 长 期 深度 探索 太空 的 载 人 航天 器 “猎户 座 多 功能 载 人 飞船 ”的 总 承包 


商 ， 负 责 6 船 的 设计 、 开 发 与 建造 。 猎 户 座 飞 船 将 把 宇航 员 送 往 近 地 轨道 以 外 的 目的 地 (包括 月 球 、 小 行星 乃至 火星 ) ， 并 载 他 
们 安全 返回 地 球 。 


从 图 15-5 可 见 ， 在 2014 年 12 月 5 日 洛克 希 德 生产 车 间 着 手 建 造 猎 户 号 飞船 并 筹备 其 初次 试飞 之 前 ， 整 个 飞船 是 在 CHIL 实 验 
室 的 虚拟 空间 中 利用 各 种 可 视 化 工具 组 装 的 ， 工 具 包 括 CAVE 系 统 与 立体 头 戴 式 显示 器 。 通 过 这 一 流程 ， 工 程 师 可 对 整个 系统 的 
设计 与 组 装 进行 严格 审查 ， 甚 至 具体 到 技术 人 员 所 处 位 置 等 细节 ， 从 而 及 早 发 现 问题 、 解 决 问题 。 如 此 一 来 ， 便 可 极 大 地 节省 整 
个 项 目 所 花费 的 时 间 与 开支 。 





图 15-5 ”洛克 项 德 . 马丁 公司 利用 顶尖 的 沉浸 式 CAVE 系 统 和 头 戴 式 显 示 设 备 ， 全 面 评 估 NASA 猫 户 座 多 功能 载 人 飞船 的 设计 与 


组 装 工作 





图 片 来 源 ， 洛 克 希 德 .马丁 公司 











除 猫 户 座 项 目 外 ， 还 有 许多 项 目 成 功 运用 上 述 工具 ， 取 得 了 良好 成 果 。 事 实 上 ， 洛 克 希 德 目 前 的 大 部 分 大 型 航天 项 目 都 在 运 
用 其 所 谓 “ 虚 拟 探 路 ”战略 ， 即 将 数字 数据 贯穿 整个 设计 与 生产 过 程 ， 以 减少 产品 建造 的 时 间 与 资金 成 本 。 


该 公司 的 另 一 项 示例 是 应 用 此 类 技术 开发 下 一 代 GPs 川 卫星 和 无 人 系统 ， 例 如 图 15-6 中 的 火星 大 气 与 挥发 物 演化 任务 
(MAVEN) 航天 探测 器 。 同 样 ， 模 拟 系统 不 仅 被 用 于 实际 航天 器 的 大 量 设计 审核 ， 还 贯穿 最 终 的 建造 与 测试 过 程 。 





图 15-6 两 张 图 分 别 为 火星 大 气 与 挥发 物 演化 任务 航天 器 移入 洛克 希 德 ， 马 丁 位 于 科罗拉多 州 利 特 尔 顿 的 热 真空 舱 过 程 的 虚拟 模 


拟 与 真实 情景 





图 片 来 源 : 洛克 希 德 :马丁 公司 














洛克 希 德 也 将 沉浸 式 模拟 技术 扩展 至 其 航空 业务 部 门 ， 包 括 将 动作 捕捉 技术 大 幅 应 用 于 人 体 工 学 研究 。 与 早期 在 汽车 制造 中 
的 应 用 相似 ， 工 程 师 在 产品 实际 生产 前 开展 虚拟 组 装 与 维修 任务 ， 可 以 尽早 发 现 可 能 会 影响 完工 进度 的 问题 ， 例 如 刀具 后 角 、 工 
人 出 入 与 安全 问题 ， 并 且 在 生产 或 实际 应 用 中 遇 到 这 些 问题 之 前 ， 做 出 适当 的 设计 修改 或 其 他 调整 ， 防 患 于 未 然 。 如 图 15-7 所 
示 ， 这 些 功 能 已 经 在 F-35 闪 电工 多 用 途 战 斗 机 的 弹药 与 燃料 补给 程序 开发 任务 中 投入 使 用 。 
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图 15-7 洛克 和 希 德 .马丁 的 工程 师 大 量 采 用 动作 捕捉 技术 ， 对 F-35 闪 电 开 多 用 途 战斗 机 弹药 与 燃料 补给 程序 进行 虚拟 设计 审查 与 
开发 











辐 片 来 源 : 洛克 和 希 德 .马丁 公司 








洛克 希 德 :马丁 还 将 增强 现实 可 视 化 方案 用 于 多 个 航空 项 目 ， 以 提升 检修 方案 的 效率 与 效 度 。 最 值得 注意 的 是 在 F-35 和 F-22 
战斗 机 中 的 应 用 。 利 用 加 拿 大 温哥华 的 NGRAIN 公 司 独 有 的 软件 使 用 工具 ， 技 术 人 员 可 移动 平板 设备 或 光学 透视 头 戴 式 显示 器 ， 
将 实时 系统 数据 与 3D 图 形 精 确 苹 加 到 特定 的 任务 区 块 ， 包 括 操作 说 明和 动画 设备 程序 。 由 此 ， 维 修 时 间 大 幅 缩短 ,错误 率 降 至 
最 低 一 一 这 两 点 对 于 这 些 平台 而 言 至 关 重 要 ， 因 为 隐形 飞行 器 表面 的 丝毫 损伤 都 可 能 对 雷达 可 见 性 造成 巨大 的 损害 。 





15.5 ” 核 工 程 与 制造 业 


制造 业 对 英国 经 济 的 发 展 做 出 了 巨大 贡献 。 为 了 提升 英国 工业 基地 的 技术 与 能 力 ， 吸 引 更 多 海外 高 附加 值 制 造 业 (HVM ) 
项 目 ， 英 国政 府 向 7 所 顶级 科研 中 心 投资 了 数 亿 英镑 ， 加 速 提升 特定 领域 的 创新 能 力 ， 研 发 具有 全 球 竞 争 力 的 产品 和 服务 ， 进 一 
步 推动 未 来 的 经 济 增长 。 这 些 “ 和 卓越 中 心 ” 作 为 衔接 政府 产业 政策 、 学 术 研 究 与 商业 部 门 的 纽带 ， 横 跨 生 物 制剂 、 复 合 材料 、 低 
碳 运 输 系统 、 太 空 探 索 卫星 应 用 等 领域 。 


多 家 卓越 中 心 在 操作 中 大 量 使 用 沉浸 式 虚 拟 现实 系统 。 其 中 ， 本 章 将 以 南 约克 郡 谢 菲 尔 德 的 核 先 进 制造 研究 中 心 
(NAMRC) 为 例 。 在 谢 菲 尔 德 大 学 的 引领 下 ，NAMRC 与 多 家 英国 企业 合作 ， 提 升 核电 设施 及 其 他 能 源 板块 专用 部 件 的 制造 能 
力 。 


核 产业 所 面临 的 工程 与 制造 问题 与 本 章 中 的 其 他 案例 有 相似 之 处 ， 但 仍 存在 其 他 方面 的 差异 ， 其 中 最 大 的 不 同 便 是 所 涉 部 件 
和 系统 的 体积 与 重量 。 大 部 分 的 民用 发 电 核 反应 堆 体 积 都 非常 庞大 ， 有 了 时 仅 一 个 精密 部 件 就 重 达 数 十 吨 ， 参 见 图 15- 
8 (Virtalis, 2010) 。 
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图 15-8 ”本 图 展示 的 是 核电 厂 一 人 台 若 汽轮机 的 一 部 分 ， 该 部 件 体积 庞大 ， 重 达 20 公 吨 











图 片 来 源 : photosoupQ@123RF .com 





当 完 成 生产 这 些 独 立 的 部 件 、 需 要 进行 组 装 时 ， 搬 运 工作 便 会 带 来 重大 的 安全 风险 和 后 勤 困 难 。 在 同一 个 厂房 内 的 各 个 工作 
站 之 间 拖 吊 并 搬运 这 些 大 型 部 件 和 结构 时 ， 往 往 需要 停止 其 他 作业 。 实 际 上 ， 据 估算 ， 仪 搬运 大 型 部 件 可 能 需要 耗 去 整个 制造 流 
程 所 需 时 间 的 1/5 (NAMRC，2012) 。 费 时 意味 着 浪费 产能 ， 以 及 整个 建造 过 程 成 本 的 大 幅 提高 。 


在 开始 制造 之 前 ， 尤 其 是 最 终 组 装 前 ， 确 保 设 计 的 精确 性 也 是 一 项 挑战 。 考 虑 到 前 文 提 到 的 体积 与 重量 问题 ， 尽 早 发 现 设 计 
上 的 冲突 与 瑕 意 便 显得 更 为 重要 。 


NAMRC 采 取 许 多 方法 来 帮助 劳 斯 莱 斯 等 企业 提高 其 制造 能 力 (从 而 在 全 球 核 产 业 供应 链 的 竞争 中 脱颖而出 ) ， 其 中 之 一 便 
是 工厂 布局 与 流程 规划 、 合 作 设 计 审查 、 虚 拟 原型 (参见 图 15-9) 和 人 体 因素 评估 的 可 视 化 。 


入 





图 15-9 ”英国 核 高 级 制造 研究 中 心 的 工程 师 利用 各 种 先进 的 沉浸 式 显 示 设 备 ， 协 助 劳 斯 菜 斯 等 企业 优化 核电 厂 大 型 部 件 的 制造 与 


搬运 流程 





图 片 来 源 : NAMRC 











举例 而 言 ， 这 些 大 型 部 件 的 生产 工艺 与 搬运 工作 已 经 过 离散 事件 模拟 (DES) 软件 建 模 ， 并 与 生产 厂房 的 虚拟 模型 合并 ， 用 
以 评估 整个 工厂 的 时 间 周 期 。 这 样 一 来 ， 便 可 找 出 各 部 件 的 交互 地 点 及 导致 工期 延误 的 潜在 因素 ， 对 于 采用 非 线性 流程 的 工厂 很 
有 帮助 (NAMRC，2012) 。 

上 述 流程 中 采用 的 工具 涵盖 了 目前 市 面 上 的 所 有 沉浸 式 显示 方案 ,包括 各 种 不 同 的 立体 头 戴 式 设备 、 英 国 Virtalis 的 名 为 
ActiveCube 的 3.2 平 方 米 CAVE 显 示 设 备 (最 多 可 容纳 4 人 ) ， 以 及 一 套 最 多 可 供 25 人 使 用 的 ActiveWall 3D 可 视 化 系统 。 


第 16 章 “健康 与 医疗 


从 教育 、 培 训 、 手 术 预 演 ， 到 提高 外 科 医 生 的 情景 意识 ， 再 到 以 工具 辅助 病 后 康复 ， 虚 拟 现 实 与 增强 现实 技术 在 身心 健康 领 
域 的 应 用 不 断 拓展 ， 取 得 了 显著 成 果 ， 也 展现 了 巨大 的 发 展 潜力 。 本 章 将 探讨 这 一 领域 的 各 种 应 用 ， 重 点 关注 应 用 解决 的 具体 问 
题 、 所 涉及 的 主要 实现 技术 要 素 及 其 相对 于 传统 方案 的 优势 。 


16.2 培训 





方面 的 应 用 


每 个 人 都 明白 “ 熟 能 生 巧 ”这 句 话 的 意义 。 在 几乎 所 有 人 类 活动 中 ， 从 孩子 学 习 将 食物 准确 送 进 嘴 里 等 基本 技能 ， 到 成 人 所 
掌握 的 各 种 才能 ,练习 与 训练 必然 能 改善 人 们 的 大 部 分 身心 表现 。 任 务 越 复杂 ， 需 要 的 练习 越 多 ， 训 | 练 的 目的 不 只 是 最 初 的 技巧 
学 习 ， 更 在 于 维持 水 平 。 这 些 真理 同样 适用 于 关乎 人 类 健康 与 福 社 的 医疗 领域 。 


为 此 ， 过 去 十 年 间 ， 基 于 或 利用 虚拟 与 增强 现实 实现 技术 的 医学 模拟 与 培训 实用 工具 开发 数量 有 了 巨大 增长 ， 其 应 用 也 对 领 
域 产 生 了 变革 性 的 作用 。 大 量 资料 证 明 ， 相 较 于 传统 的 技能 发 展 方式 ， 应 用 这 些 技术 能 更 好 地 协助 医学 生 与 从 业者 熟练 掌握 从 显 
微 手术 到 复杂 侵入 性 手术 的 各 种 技巧 。 


在 医疗 领域 使 用 计算 机 模拟 技术 的 最 大 好 处 之 一 ， 也 许 正 是 创造 出 一 个 允许 学 生 或 医生 不 计 后 果 地 犯错 的 环境 。 在 学 习 过 程 
中 ， 犯 错 有 着 至 关 重 要 的 意义 。 但 在 医疗 领域 ， 犯 错 的 后 果 却 极其 严重 。 因 此 ， 在 训练 和 手术 预演 中 犯错 显然 比 临 床 或 手术 中 犯 
错 要 好 得 多 。 


16.2.1 ”HelpMeSee 白 内 障 手术 模拟 器 


世界 卫生 组 织 表 示 ， 白 内 障 治疗 不 及 时 是 全 球 范围 内 致 盲 的 首要 因素 ， 白 内 障 是 指 眼 部 晶状体 混浊 导致 光线 难以 投射 到 视 网 
膜 上 (参见 第 3 章 ; WHO，2014a) 。 据 最 新 估计 ， 在 全 世界 所 有 失明 人 士 中 ， 有 将 近 一 半 (超过 2000 万 人 ) 是 由 白内障 致 讶 
的 。 白 内 障 多 数 由 衰老 引起 ， 也 有 部 分 儿童 属 先天 患 有 白内障 。 在 美国 ， 有 一 半 以 上 的 80 岁 老人 坎 患 单眼 或 双眼 白内障 ， 或 做 
过 白内障 手术 (WHO，2014b; NEI，2009) 。 


虽然 白内障 矫正 术 一 般 为 门诊 手术 ， 在 发 达 地 区 十 分 普遍 ， 但 在 发 展 中 国家 仍 面临 很 多 阻碍 ， 包 括 治疗 成 本 过 高 、 缺 乏 专业 
人 员 、 缺 乏 相 关 意 识 (Tabin，2005) 。 


为 对 抗 这 一 日 益 严重 的 问题 ， 一 家 美国 非 萤 利 组 织 HelpMeSee 在 全 球 范围 内 倡导 了 一 项 致力 于 消除 白内障 致 言 的 同名 项 
目 ， 并 与 穆 格 公司 (纽约 州 纽约 市 ) 、InSimo (法 国 斯 特 拉 斯 堡 ) 、SenseGraphics (瑞典 基 斯 塔 ) 等 公司 合作 ， 开 发 了 一 套 
高 性 能 手术 模拟 器 ， 以 迅速 、 高 效 、 优 质 的 程序 为 各 国 培训 国内 医疗 专家 ， 帮 助 患者 治疗 病症 恢复 视力 。 

这 一 系统 名 为 人 工 小 切口 白内障 手术 (MSICS) 模拟 器 ， 用 于 培训 医疗 专家 完成 一 种 低 成 本 、 高 效率 、 小 切口 手术 ， 切 除 
混浊 的 白内障 晶体 ， 再 植 入 人 工 晶体 作为 蔡 代 。 成 人 手术 时 间 仅 需 5 分 钟 ， 儿 童 为 15 分 钟 (HelpMeSee，2014a) 。 


如 图 16-1 所 示 ，MSICS 模 拟 器 是 一 个 车 载 式 独立 系统 ， 一 般 放置 立体 显微镜 的 位 置 安装 了 一 台 带 电 枢 的 高 清 立 体 显示 器 。 
和 实际 手术 过 程 一 样 ， 操 作 人 员 坐 在 系统 前 部 查看 观察 装置 ， 从 中 可 以 看 到 十 分 详细 的 人 眼 图 解 模型 。 模 拟 器 的 主要 用 户 界面 采 
用 双手 外 科 器 械 ， 也 与 实际 手术 中 的 器 械 完全 一 致 。 





图 16-1 HelpMeSee、 称 格 工业 集团 和 多 家 合作 软件 公司 开发 的 人 工 小 切口 白内障 手术 模拟 器 将 为 发 展 中 国家 培养 数 千 名 白内障 
手术 专家 








图 片 来 源 : 穆 格 公司 /HelpMeSee 








操作 人 员 移 动 器 械 并 与 虚拟 眼球 接触 时 ， 穆 格 开发 的 高 清 触 觉 技术 以 及 SenseGraphics、InSimo 公 司 的 基于 物理 的 虚拟 组 
织 模型 和 模拟 引擎 能 保证 接触 的 真实 感 ， 与 有 经 验 的 外 科 医 生 在 实际 手术 中 的 体验 几乎 别 无 二 致 (HelpMeSee, 2014a) 。 


本 系统 还 配 有 导师 工作 站 和 课件 ， 可 存储 240 多 项 训练 任务 和 白内障 医师 在 实际 手术 中 可 能 碰 到 的 症状 (Moog，2015; 
Singh and Strauss, 2014) 。 


系统 部 署 展 示 计 划 于 2016 年 开始 ， 此 前 将 在 亚洲 、 非 洲 和 拉丁 美洲 建立 7 所 培训 中 心 ， 每 所 中 心 每 年 最 多 可 培养 1000 名 


MSICS 手 术 医 师 ， 人 均 学 习 时 间 为 400 ~ 700 小 时 ， 其 中 60% 左 右 的 时 间 用 于 模拟 器 操作 (Broyles，2012) 。HelpMeSee 表 
示 ， 经 本 项 目 培养 的 手术 医师 人 均一 年 最 多 可 完成 2500 台 手术 ， 每 台 成 本 约 为 50 美 元 (HelpMeSee, 2014b; 2014d) 。 


16.2.2 Simodont 牙 医 培 训 系 统 


在 世界 各 地 的 牙科 院 校 ， 学 生 锻 炼 临床 技能 的 传统 方式 是 用 牙 钻 等 工具 在 仿真 人 头 模型 的 塑料 牙齿 上 练习 。 这 种 方法 既 昂 贵 
又 费时 ， 从 导师 的 角度 来 说 ， 对 学 生 表 现 的 评估 也 会 过 于 主观 。 为 了 帮助 学 生 尽早 锻炼 出 强大 的 核心 技能 并 大 幅 降低 成 本 ， 穆 格 
工业 集团 与 阿姆斯特丹 牙科 学 术 中 心 (ACTA) 合作 开发 了 一 款 优 质 高 清 双 手 灵巧 型 模拟 器 Simodont， 将 3D 可 视 、 触 觉 与 力 反 
馈 技 术 以 及 声音 相 结合 ， 用 于 高 度 仿真 的 牙科 手术 训练 (Forsell，2011; Moog，2011) 。 


如 图 16-2 所 示 ， 用 户 所 在 的 位 置 与 临床 中 牙医 的 位 置 相似 。 操 作 人 员 佩 戴 偏 光 立 体 眼镜 后 查看 观察 窗 ， 手 用 器 械 实 际 操作 
位 置 将 直接 显示 轮廓 清晰 、 大 小 合理 的 患者 口腔 3D 模 型 ， 用 于 具体 课程 教学 (手持 件 、 钻 头 、 口 腔 镜 等 ) 。 用 户 移动 手 用 器 械 
时 ， 这 些 器 械 与 临床 器 械 完全 一 致 ， 虚 拟 工 具 也 将 精确 模拟 相关 动作 。 虚 拟 牙 钻 作 用 于 虚拟 牙齿 时 ， 模 拟 引 警 和 触 党 驱动 器 将 提 
供 真实 牙齿 钻 洞 的 完整 声 像 、 触 党 体验 ， 包 括 钻头 的 清脆 触感 以 及 牙 釉 质 的 接触 力 与 硬度 。 





图 16-2 ”世界 各 地 的 牙科 学 生 都 在 使 用 穆 格 工业 集团 与 阿姆斯特丹 牙科 学 术 中 心 共同 开发 的 Simodont， 练 习 并 提升 实际 牙科 治疗 
所 需 的 操作 技能 





图 片 来 源 ， 穆 格 公司 





ACTA 制 作 的 详尽 课件 中 包含 各 种 手术 与 场景 训练 ， 导 师 还 可 使 用 回放 功能 查看 学 生动 作 ， 以 更 客观 的 方式 提供 反馈 。 该 系 
统 还 能 扫描 真人 牙齿 导入 系统 ， 无 限 拓展 可 供 选 择 的 案例 场景 。 


Simodont 牙 医 培 训 系 统 目 前 广泛 应 用 于 全 世界 的 牙科 院 校 ， 证 实 能 够 成 功 培养 学 生 的 整体 技能 。 


和 其 他 医疗 手术 模拟 器 一 样 ， 这 类 系统 在 学 习 环境 创造 上 的 价值 绝对 不 可 忽视 。 从 学 生 的 角度 ， 模 拟 器 为 他 们 提供 了 培养 并 


提升 核心 医疗 技能 的 强 有 力 工 具 ， 帮 助 他 们 从 临床 前 训练 过 渡 到 临床 环境 。 对 导师 而 言 ，Simodont 这 类 模拟 器 极 大 地 提升 了 训 
练 场景 开发 的 灵活 性 和 教学 选择 的 多 样 性 ， 最 终 可 以 提高 毕业 生 质 量 。 


16.3 ”治疗 方面 的 应 用 





“旋律 总 能 色 起 回忆 ， 这 不 是 很 有 趣 吗 ? 
带 你 进入 另 一 场景 


完全 改变 你 的 心境 。” 











一 一 克 林 特 布莱克， 《State of Mind》，1993 


克 林 特 -布莱克 1993 年 发 表 的 热门 乡村 歌曲 《State of Mind》 的 歌词 完美 地 表达 了 人 脑 根据 声音 、 景 象 、 气 味 和 各 种 其 他 
的 环境 提示 存储 提取 记忆 的 强大 能 力 。 这 在 临床 上 称 为 情节 自传 式 记忆 (EAM) ， 是 人 类 感知 与 记忆 系统 的 一 种 非 自主 功能 ， 
既 赋予 了 我 们 极 大 的 好 处 ， 也 对 人 类 生存 造成 了 些许 麻烦 。 其 中 一 个 较 大 的 问题 在 于 ， 人 类 遭受 巨大 身心 创伤 时 的 感觉 信息 和 记 
忆 也 会 保留 下 来 ， 例 如 在 战场 上 的 经 历 。 


16.3.1 创伤 后 应 激 障碍 


2001 年 以 来 ， 美 国 军队 经 历 了 长 达 14 年 的 高 强度 阵地 战 ， 战 争 的 发 展 速 度 给 现役 和 退伍 军人 带 来 了 严重 的 行为 健康 问题 
(Rizzo 等 ，2012) 。2014 年 ， 约 有 250 万 美国 军人 参加 过 一 次 或 一 次 以 上 的 持久 自由 行动 (OEF) 与 伊拉克 自由 行动 (OIF) 
(Ramchand 等 ，2014; Hautzinger 等 ，2015) 。 据 估计 ， 所 有 这 些 归 国 人 员 中 ， 近 18% 的 人 正在 与 心理 伤害 作 斗 争 ， 其 中 大 

部 分 人 表示 受到 多 种 应 激 源 刺 激 ， 甚 至 对 正常 生活 造成 严重 影响 (Hoge 等 ，2004; APA，2007) 。 


这 些 心理 症状 合 称 为 创伤 后 应 激 障 碍 (PTSD) 或 创伤 后 应 激 损 伤 ， 美 国 心理 学 会 将 之 定义 为 : 人 在 经 历 过 一 次 或 多 次 巨大 
压力 、 战 争 或 其 他 生命 威胁 等 创伤 性 事件 后 产生 的 焦虑 症 (DeAngelis，2008) [1]。 研 究 表 明 ， 这 种 障碍 症 一 旦 出 现 往往 会 成 为 
长 期 病症 (Hoge 等 ，2004) 。 


迄今 为 止 ， 根 据 已 发 表 的 研究 ， 治 疗 这 种 障碍 症 的 手段 中 ， 应 用 最 广泛 也 最 具 实 践 效力 的 是 延长 暴露 治疗 法 ， 主 要 由 两 部 分 
构成 : 想象 暴露 法 和 现场 暴露 法 。 顾 名 思 义 ， 想 象 暴露 法 需要 一 名 经 过 训 | 练 的 治疗 师 小 心 引导 患者 ， 以 渐进 、 可 控 的 方式 反复 口 
头 复述 自己 的 创伤 经 历 。 而 现场 暴露 法 则 以 或 快 或 慢 的 方式 ， 将 患者 暴露 在 其 所 害怕 的 虚拟 物体 、 活 动 或 场景 中 。 这 两 个 部 分 都 
应 使 患者 安全 地 体会 、 评 估 并 从 情绪 上 整理 相关 应 激 源 ， 从 而 克服 过 度 的 恐慌 与 焦虑 情形 (Foa 等 ，2007; 

DeAngelis, 2008) 。 


尽管 已 发 表 的 研究 已 经 清楚 地 表明 ， 延 长 暴露 治疗 法 对 于 治疗 PTSD 非 常 有 效 ， 但 在 传统 治疗 手法 方面 仍 有 极 大 问题 。 其 中 
的 一 大 障碍 在 于 ， 治 疗 过 度 依赖 患者 对 于 创伤 经 历 的 心理 想象 。 由 于 避免 回想 起 对 创伤 的 暗示 是 PTSD 的 主要 症状 之 一 (Rizzo 
等 ，2006) ， 因 此 这 种 依赖 对 治疗 效果 有 很 大 影响 。 另 一 项 明显 的 限制 因素 是 ， 医 患 双方 需 置 于 具有 说 服 力 的 场景 、 以 可 控 的 
方式 反复 暴露 于 各 种 刺激 源 下 。 换 而 言 之 ， 要 想 有 效 模 拟 战场 上 的 应 激情 景 和 环境 ， 在 医生 办 公 室 里 能 做 到 的 实在 有 限 。 至 少 ， 
在 不 久 的 之 前 还 是 这 样 。 


16.3.2 Bravemind 


南 加 利 福 尼 亚 大 学 /创意 技术 学 院 (USC/ICT) 的 研究 者 们 利用 沉浸 式 显示 技术 、 计 算 和 场景 与 人 物 建 模 技术 ， 开 发 了 一 种 
新 型 临床 工具 的 基础 技术 ， 用 于 改进 延长 暴露 治疗 法 在 治疗 患 有 战争 相关 PTSD 的 士兵 时 的 手段 与 效用 。 


USC/ICT 与 佐治 亚 州 Virtually Better 公 司 、 圣 地 亚 哥 海军 医疗 中 心 (NMC-SD) 和 日 内 瓦 基金 会 合作 研发 了 Bravemind 系 
统 ， 以 完全 沉浸 式 虚拟 方式 呈现 患者 与 战斗 相关 的 创伤 经 历 ， 以 可 控 、 渐 进 的 方式 实现 暴露 ， 减 少 或 令 患 者 习惯 于 焦虑 刺激 源 
(Virtually Better，2008) 。 


如 图 16-3 所 示 ，Bravemind 系 统 的 主要 硬件 为 现成 商用 技术 产品 ， 包 括 一 台电 脑 、 双 显示 屏 、Sony HMZ T3W 立 体 头 戴 式 

显示 器 、 一 个 位 置 /方向 传感器 和 一 个 完全 置 入 医用 级 推 车 的 手持 式 控制 器 。Bravemind 系 统 不 仪 可 以 模拟 战场 环境 下 的 景象 与 

音 ， 还 包含 一 个 地 面 平 台 形 状 的 小 型 触觉 反馈 部 件 ， 内 置 重 低音 音响 ， 用 于 模拟 引擎 亡 鸣 、 爆 炸 、 交 火 等 声音 及 相关 的 环境 品 
。 另 外 配 有 一 台 气味 机 ， 散 发 出 与 场景 相关 的 气味 (包括 无 烟火 药 、 橡 胶 燃 烧 、 柴 油 、 二 圾 、 火 药 的 味道 ) 。 


秀 


机 下 


写作 本 书 时 ， 共 有 两 个 虚拟 环境 模拟 软件 包 可 供 使 用 : 虚拟 伊拉克 和 虚拟 阿富汗 ， 二 者 都 含有 模拟 中 东城 市 、 沙 漠 道 路 等 各 
种 战场 环境 的 基础 模型 。 临 床 医生 带领 用 户 进入 各 种 不 同 场景 与 强度 级 别 (包括 步行 巡逻 、 城 镇 成 、 护 卫 车 、 渡 桥 、 直 升 机 医疗 
后 送 ) 时 ， 拥 有 很 大 的 灵活 性 和 掌控 力 。 


量化 成 果 


多 项 研究 发 现 (Rizzo 等 ，2015; Gerardi 等 ，2008; Reger 和 Gahm，2008; Rizzo 等 ，2007; Difede 等 ，2007; Difede 
和 Hoffman，2002) ， 采 用 虚拟 现实 暴露 疗法 治疗 创伤 后 应 激 障 碍 在 统计 与 临床 上 均 取得 了 显著 成 效 。 治 疗 对 象 既 有 此 前 未 接 
受过 PTSD 治 疗 或 接受 过 较 多 传统 暴露 法 治疗 的 患者 ， 也 有 在 战区 接受 治疗 的 现役 军人 。 














图 16-3” 南 加 利 福 尼 亚 大 学 /创意 技术 学 院 开 发 的 Bravemind 模 拟 器 专门 用 于 提供 沉浸 式 虚 拟 现实 暴露 ,治疗 患 有 创伤 后 应 激 障碍 
的 战士 








图 片 来 源 : Virtually Better 公 司 (www.VirtuallyBetter .com) 








正 是 由 于 这 些 模拟 工具 的 疗效 如 此 显著 ， 美 国 目 前 有 50 多 家 机 构 正 积极 地 将 Bravemind 系 统 用 于 PTSD 治 疗 与 研究 工作 ， 包 
括 退伍 军人 医院 、 军 事 医疗 中 心 和 高 校 科 研 中心 。 


16.3.3” 芍 惧 症 


许多 调查 证 实 ， 虚 拟 现实 暴露 治疗 法 (VRET) 对 于 治疗 包括 飞行 恐惧 症 、 恐 高 症 、 雷 雨 恐 惧 症 在 内 的 各 种 荡 惧 症 ， 都 有 极 
好 的 统计 和 临床 效果 。 


飞行 恐惧 症 / 处 高 症 /雷雨 丸 惧 症 治 疗 套装 


佐治 亚 州 Virtually Better 公 司 生 产 了 多 个 基于 个 人 计算 机 的 商用 VRET 软 件 套装 ， 专 门 用 于 治疗 常见 恐惧 症 和 成 癌 ， 及 用 于 
疼痛 时 的 注意 力 转移 与 放松 。 与 其 他 功能 要 求 更 高 、 需 要 外 围 设 备 配合 使 用 的 系统 (如 上 文 提 到 的 Bravemind 系 统 ) 不 同 ， 如 
图 16-4 所 示 ， 这 些 VRET 套 装 中 ， 有 一 部 分 甚至 可 以 直接 在 笔记 本 电脑 上 运行 ， 使 用 基于 智能 手机 的 立体 头 戴 式 显示 器 即 可 ( 参 
见 第 6 章 ) 。 


智能 手机 中 的 加 速 器 负责 追踪 用 户 的 头 部 方向 (转动 、 倾 斜 、 摇 摆 ) ， 患 者 则 通过 一 个 小 型 手持 控制 器 按照 自己 的 步调 ， 在 
模拟 模型 内 安全 地 调整 角度 。 同 样 ， 医 生 拥 有 很 大 的 灵活 性 和 掌控 力 ， 可 以 让 用 户 进入 不 同 的 场景 ， 在 具体 治疗 方案 中 取得 想 要 
的 效果 。 





图 16-4 Virtually Bettet 公 司 开 发 了 多 款 基 于 个 人 电脑 的 商用 应 拟 现实 暴露 治疗 法 应 用 ， 专 门 用 于 治疗 各 种 恐惧 症 ， 例 如 飞行 丽 惧 


症 、 丈 高 症 、 雷 雨 妈 惧 症 


图 片 来 源 : Virtually Better 公 司 (www.VirtuallyBetter.com) 





量化 成 果 


2015 年 ， 针 对 14 个 特定 恐 惯 症 临 床 试验 的 一 项 元 分 析 (将 多 项 独立 研究 的 发 现 进行 合 并 的 一 种 统计 方法 ) 得 出 了 两 条 有 力 
的 发 现 : 首先 ， 患 者 在 治疗 后 的 行为 评估 中 的 表现 显著 优 于 治疗 之 前 ;但 治疗 后 的 行为 评估 及 其 后 随访 的 结果 ， 相 比 于 传统 现场 
暴露 法 的 结果 ， 并 无 显著 差异 。 该 研究 的 直接 结论 是 ，VRET 能 使 患者 在 现实 生活 中 产生 显著 的 行为 改变 (Morina 
等 ，2015) 。 在 这 些 核心 发 现 的 基础 上 继续 推断 ， 不 难得 出 ， 由 于 患者 和 医生 对 于 进入 现场 治疗 情景 的 需求 降低 ， 只 要 应 用 得 
当 ，VRET 能 够 显著 改善 治疗 效果 、 降 低 医 疗 成 本 。 


16.3.4 血管 成 像 


穿刺 血管 采血 或 静脉 注射 是 保健 专家 面临 的 最 大 临床 挑战 之 一 ， 所 谓 保健 专家 包括 实验 技师 和 护士 、 内 科 和 急救 专 家 、 军 医 、 
麻醉 师 及 参与 其 中 的 每 位 人 士 。 尽 管 穿刺 血管 是 一 项 最 为 常规 的 侵入 性 操作 ， 不 同 的 情况 与 条 件 也 可 能 使 这 一 看 似 简 单 的 任务 变 
得 极为 困难 ,包括 血 管 细 长 、 皮 下 脂肪 、 面 色 偏 瞳 ， 及 由 低温 、 缺 水 、 血 液 透析 等 原因 造成 血管 收缩 等 。 


Evena Eyes-on 医 学 智能 眼镜 

为 方便 血管 穿刺 ， 加 利 福 尼 亚 州 Evena Medical 开 发 了 一 款 头 戴 式 立 体 增强 现实 显示 器 ， 使 医疗 保健 工作 者 能 够 透 过 皮肤 ， 
几乎 实时 地 “看 ”到 皮下 血管 结构 ， 从 而 选 出 最 适 于 穿刺 的 血管 。 如 图 16-5 所 示 ， 这 款 设备 名 为 “Evena Eyes-on 医 学 智能 眼 
通过 眼镜 前 方 内 置 的 专利 多 光谱 照明 系统 ， 投 射出 四 束 600 ~ 1000pm 的 近 红 外 波长 光线 ， 照 亮 人 体 目标 位 置 。 血 液 对 这 
因而 变 暗 ， 形 成 视觉 差 。 再 由 两 个 对 这 些 波 长 敏感 的 定制 摄像 头 (左右 眼 各 一 个 ) 


镜 ” 
些 光 波长 的 吸收 率 高 于 周围 皮肤 肌肉 等 组 织 ， 
收集 视频 图 像 ， 传 送 给 眼镜 带 上 的 控制 器 。 


A ST 





图 16-5 ”Evena 的 Eyes-on 医 学 智能 眼镜 利用 独特 的 照明 与 视频 系统 ， 把 增强 视角 营 加 到 佩戴 者 的 现实 视角 上 ， 帮 助 医生 将 病人 的 
血管 可 视 化 








图 片 来 源 ，Evena Medical 摄 影 师 Kent Lacin 














控制 器 将 四 个 不 同 波长 的 视频 影像 交 革 (左右 眼 分 开 ) ， 再 将 结果 返回 至 仪器 的 显示 器 ， 而 显示 部 件 Epson Moverio BT- 
200 正 是 该 仪器 的 核心 (参见 第 5 章 ) 。 然 后 ， 显 示 器 中 的 投影 仪 会 把 左右 两 个 视频 信道 羊 加 到 佩戴 者 所 看 到 的 真实 场景 之 上 ， 


产生 治疗 部 位 的 立体 3D 景 象 ， 这 在 临床 上 非常 实用 ， 能 够 极 大 地 改进 保健 工作 者 对 静脉 网 的 观察 。 
图 16-5 左 侧 的 插图 清楚 地 表明 ， 这 一 设备 能 够 有 效 地 可 视 化 原本 无 法 看 见 的 血管 结构 。 
量化 成 果 
这 类 设备 具有 诸多 临床 优势 。 仅 在 美国 ， 每 天 要 进行 250 万 例 静 脉 穿刺 术 (Walsh，2008; Ogden-Grable 和 
Gill，2005) 。 据 估计 ， 多 达 60% 的 儿童 和 40% 的 成 人 要 进行 多 次 穿刺 才 会 成 功 (Frey，1998; Harris，2004) 。 几 乎 每 位 入 院 


治疗 的 患者 都 要 接受 这 项 基本 操作 ， 但 面 对 如 此 高 的 失败 率 ， 静 脉 穿 刺 也 就 成 了 导致 医疗 伤害 的 主因 之 一 。 此 外 ， 过 多 使 用 医疗 
用 品 和 劳动 力 会 增加 成 本 ， 静 脉 相关 并 发 症 也 可 能 延长 住院 天 数 ， 因 此 这 类 成 像 设 备 的 作用 愈 发 显而易见 。 


16.3.5 ”医学 信息 学 


现代 医院 是 一 个 充满 信息 的 环境 。 每 一 刻 ， 医 务 人 员 身 边 都 充斥 着 海量 的 数据 ， 可 能 来 自 字 母 数 字 显 示 器 、 图 表 、 闪 光 灯 、 
状况 提示 音 ， 或 各 种 数据 源 发 出 的 警报 ， 全 都 代表 着 病 患 的 重要 生命 参数 与 综合 身体 状况 。 这 些 信 息 包括 心率 与 心律 监控 数据 、 
血压 指数 、 呼 吸 率 、 氧 饱和 度 、 体 温 、 心 脑 电 图 追踪 、 术 前 与 实时 医学 成 像 、 静 脉 注射 液 与 用 药 率 等 ， 不 一 而 足 。 面 对 如 此 庞大 
的 信息 海啸 ， 医 生 很 容易 不 知 所 措 。 实 际 上 ， 我 们 有 理由 相信 ， 患 者 监控 技术 的 不 断 进 步 所 引发 的 认 知 紧张 很 可 能 会 增加 人 为 失 
误 发 生 的 风险 。 

还 有 一 个 同等 重要 的 问题 在 于 ， 医 生 过 度 关注 一 项 具体 任务 或 操作 上 时， 很 有 可 能 错失 某 些 关键 信息 ， 比 如 生命 体征 的 变化 。 

这 两 大 信息 管理 挑战 (信息 过 多 与 注意 过 少 ) 在 手术 室 中 显得 尤为 突出 ， 因 为 外 科 团队 在 执行 复杂 的 侵入 式 操 作 的 同时 ， 还 
要 监控 周围 、 手 术 台 上 甚至 是 房间 对 面 各 种 显示 器 上 的 传感器 数据 。 

这 种 任务 密度 与 信息 饱和 度 以 及 对 态势 感知 的 要 求 ， 都 酷似 高 性 能 战斗 机 飞行 员 面 临 的 挑战 ， 两 者 的 解决 方法 也 很 类 似 。 

VitalStream 


加 利 福 尼 亚 州 Vital Enterprises 开 发 了 一 个 名 为 VitalStream 的 软件 平台 ， 利 用 各 种 头 戴 式 增强 型 显示 设备 显示 并 分 享 各 种 
复杂 的 传 感 与 成 像 数 据 ， 以 增强 保健 专家 在 手术 室 这 类 多 信息 、 高 技巧 、 高 风险 环境 下 的 情景 意识 并 提高 工作 效率 。 


如 图 16-6 所 示 ，VitalStream 可 与 谷歌 眼镜 、Osterhout Design Group R-7 智 能 眼镜 (参见 第 5 章 ) 等 类 似 设 备 一 同 使 用 ， 
将 来 自 不 同 点 源 的 关键 数据 直接 显示 在 用 户 的 视野 内 ， 提 高 其 整体 情景 意识 。 可 以 显示 的 数据 类 型 包括 生命 体征 、 放 射 图 像 、 内 


宕 镜 与 艾 光 镜 影 像 等 。 





图 16-6 ”配合 使 用 VitalStream 软 件 平台 与 谷歌 眼镜 等 显示 设备 ， 可 以 将 关键 的 医疗 传 感 与 成 像 信息 置 于 佩戴 者 的 正常 视野 内 ， 提 


升 其 情景 意识 





图 片 来 源 : Vital Enterprise Software 公 司 














Vitalstream 平 台 拥 有 一 项 强大 的 功能 ， 名 为 ZeroTouch 零 触 碰 功能 ， 通 过 实体 设备 内 部 的 加 速 器 和 陀螺 仪 监控 头 部 运动 ， 
无 需 用 手 即 可 便捷 地 控制 该 系统 的 数据 显示 与 交流 功能 。 


Vitalstream 还 将 谷歌 眼镜 等 常用 增强 型 显示 器 中 的 机 载 视频 摄像 头 用 于 操作 录像 ， 通 过 远程 电脑 、 平 板 电脑 等 即 可 与 其 他 


2014 年 ， 斯 坦 福 大 学 医学 院 开展 了 一 项 使 用 VitalSstream 和 谷歌 眼镜 的 随机 试点 研究 ， 评 佑 将 患者 生命 体征 流 化 输入 手术 医 
师 视野 的 效 度 。 研 究 要 求 外 科 医 生 在 仿真 模拟 器 上 完成 一 项 相对 常规 的 手术 操作 ， 在 面 对 某 并 发 症 时 ， 完 成 以 下 两 项 紧急 操作 中 
的 一 项 : 放置 胸腔 引流 管 (在 胸 肋 间 开 一 小 口 ， 引 出 肺 部 周围 的 液体 或 空气 ) ， 或 做 支气管 镜 检查 (利用 细小 的 观察 器 械 一 一 
支气管 镜 ， 检 查 呼吸 道 与 肺 部 ) (Sullivan，2014) 。 研 究 参与 者 在 进行 这 两 项 操作 时 ， 都 分 别 使 用 了 传统 生命 体征 监测 和 
VitalStream/ 谷 歌 眼 镜 的 无 线 生 命 体征 数据 流 显示 两 种 方法 。 


结果 让 人 大 为 震惊 。 


在 两 项 紧急 操作 中 ， 将 传 感 数据 流传 输 至 谷歌 眼镜 显示 器 并 始终 显示 于 医生 视野 中 ， 使 得 研究 参与 者 比 使 用 传统 监视 器 的 对 
照 组 医生 更 快意 识 到 生命 体 中 的 重要 变化 。 在 胸廓 造 口 术 中 ， 谷 歌 眼镜 用 户 发 现 低 血 压 的 速度 比 对 照 组 要 快 10.5 秒 。 在 支气管 镜 
检查 中 ， 谷 歌 眼镜 用 户 则 提前 8.8 秒 发 现 了 氧气 饱和 度 严 重 下 降 的 情形 (Liebert 等 ，2014) 。 


尽管 这 一 应 用 描述 仅 引用 了 一 项 研究 ， 许 多 其 他 调查 在 评估 这 些 新 型 显示 设备 在 压力 巨大 、 错 误 空 间 极 小 的 医疗 场景 下 的 效 
度 时 ， 也 得 出 了 相似 结论 。 


IRIS 视 障 助 视 器 


“ 视 障 ”一 词 指 只 拥有 部 分 视力 的 视觉 障碍， 包括 视力 模糊 、 人 存在 盲点 或 管状 视力 ， 但 也 包含 法 定 盲 (Vision 
Council，2016) 。 视 障 多 数 出 现在 老年 人 身上 ， 主 要 由 黄斑 变性 、 糖 尿 病 视 网 膜 病 变 、 中 风 及 其 他 身体 机 能 退化 引起 。 总 体 而 
言 ， 视 障 是 无 法 通过 佩戴 眼镜 、 隐 形 眼 镜 、 服 药 或 手术 矫正 的 。 因 此 ， 美 国 400 ~ 500 万 视 障 人 士 往往 要 借助 各 种 辅助 技术 ， 如 
手持 式 电 子 放大 镜 、 穿 戴 式 微型 双 目镜 、 各 种 放大 眼镜 、 报 时 表 ， 等 等 。 


最 近 ， 三 星 GearVR 等 基于 智能 手机 的 沉浸 式 显示 设备 的 发 展 (参见 第 6 章 ) 促进 了 许多 新 型 辅助 技术 的 开发 ， 为 视 障 人 群 
带 来 了 福音 。 加 州 Visionize 公 司 的 IRIS 助 视 系 统 便 是 这 样 一 款 产 品 ， 它 利用 专门 开发 的 软件 、 高 清 显示 器 和 移动 设备 的 摄像 头 ， 
在 用 户 视野 中 央 创 造 一 个 放大 的 “ 泡 泡 ”， 见 图 16-7。 用 户 可 以 使 用 显示 器 一 侧 的 锈 板 开关 控制 泡 泡 的 大 小 ， 既 能 调整 放大 部 
分 的 范围 ， 又 能 保证 看 到 整个 场景 。 
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图 16-7 IRIS 助 视 系统 利 用 移动 设备 摄像 关 和 专门 的 软件 ， 在 佩戴 者 视野 中 插入 高 度 放大 的 通 面 











妈 片 来 源 : Frank Werblin 教 授 





加 利 福 尼 亚 大 学 伯克利 分 校 的 科学 家 与 马里 兰州 Sensics 公 司 共同 开发 的 IRIS 助 视 系 统 清楚 地 表明 ， 我 们 完全 能 够 深入 研究 
某 个 存在 广泛 影响 的 问题 ， 并 创作 出 低 成 本 、 高 效率 的 头 戴 式 显示 方案 ， 造 福 数 百 万 人 。 


[中 虽然 本 章 所 讨论 的 创伤 后 应 激 障 三 直接 指向 军事 人 员 ， 但 其 他 人 也 有 可 能 晶 受 此 等 心理 损伤 与 症状 ， 包 括 强奸 或 息 师 袭击 受 
害 人 、 第 一 目击 者 等 。 


16.4 结论 


虚拟 与 增强 现实 在 身心 健康 领域 拥有 着 巨大 的 潜力 ， 各 个 具体 应 用 范围 间 的 分 野 也 逐渐 清晰 。 例 如 ， 抛 开 专 门 应 用 不 谈 ， 虚 
拟 现实 技术 很 难 在 物理 医学 实践 中 得 到 常规 性 的 运用 ， 因 为 它 对 完全 沉浸 式 可 视 化 能 力 的 需求 不 高 。 但 是 ， 将 此 类 技术 运用 于 医 
学 教育 会 带 来 巨大 好 处 ， 万 其 是 在 了 解 人 体 各 解剖 部 位 间 的 复杂 关系 时 。 因 此 ， 很 有 可 能 虚拟 现实 的 大 部 分 实践 性 应 用 将 以 电脑 
模拟 训练 与 操作 预演 的 形式 出 现 ， 其 后 才 是 帮助 从 业者 专注 于 特定 治疗 部 位 的 固定 显示 技术 。 笔 者 在 诸多 场合 也 了 解 到 ， 如 果 头 


戴 式 设备 在 实际 医疗 操作 中 并 无 用 处 ， 外 科 医 生 自然 也 无 意 将 之 用 于 训练 当中 。 


增强 型 现实 技术 的 应 用 却 截然 不 同 。 由 于 信息 的 获取 与 管理 是 医疗 从 业者 面临 的 重大 挑战 之 一 (时 而 需要 大 量 信息 ， 时 而 只 
专注 于 特定 类 型 ) ， 寺 加 传 感 数 据 、 医 学 成 像 、 治 疗 部 位 增强 图 像 、 患 者 病历 等 信息 的 功能 很 有 可 能 在 未 来 几 年 内 对 医疗 的 质量 
与 效果 产生 深远 影响 。 


现 


第 17 章 ”航空 航天 与 国防 


沉浸 式 与 增强 型 显示 技术 广泛 应 用 于 美国 与 大 部 分 工业 国家 的 航空 航天 与 国防 领域 。 从 将 人 类 感知 系统 的 优势 用 于 控制 喷气 
式 飞 机 等 复杂 机 器 ， 到 培养 飞行 员 、 增 强 军人 的 技能 与 情景 意识 ， 虚 拟 与 增强 现实 系统 正切 实 影响 着 上 述 领域 的 表现 与 成 本 效 
率 。 本 章 将 探讨 此 类 应 用 案例 ， 详 细 介绍 已 获得 的 益处 与 正面 临 的 挑战 。 


安全 驾驶 飞机 的 才能 是 后 天 习 得 的 。 从 最 基本 的 层面 来 讲 ， 需 要 几 十 个 小 时 的 实际 飞行 和 课堂 学 习 ， 才 能 发 展 、 展 现 并 检验 
出 法 律 认 可 的 技能 组 合 ， 以 及 获取 飞行 员 执 照 所 必需 的 熟练 程度 。 飞 机 越 复杂 ， 安 全 有 效 地 应 对 日 趋 复杂 化 系统 所 需 的 飞行 时 数 
就 越 多 ， 专 门 训练 要 求 也 越 高 。 


在 列队 飞行 、 空 中 加 油 等 高 级 技能 的 需求 出 现 之 前 ， 这 种 训练 模式 一 直行 之 有 效 。 但 在 此 后 ， 训 练 的 挑战 和 花费 都 大 幅 提 
升 ， 包括 对 更 多 飞机 和 机 组 人 员 、 高 端 模拟 器 等 的 需求 。 


加 州 霍 又 市 Systems Technology 公 司 提 出 了 一 个 问题 : 能 否 将 实体 飞机 用 作 模 拟 器 ， 衔 接 虚 拟 与 现实 世界 ? 答案 是 肯定 
的 。 该 公司 工程 师 与 NASA 位 于 加 州 爱 德 华 兹 的 阿姆斯特朗 飞行 研究 中 心 (Armstrong Flight Research Center) 及 位 于 加 州 莫 
哈 维 的 美国 国家 试飞 员 学 院 (National Test Pilot School) 合作 ， 开 发 出 名 为 融合 现实 (Fused Reality) 的 创新 性 虚拟 /增强 现 
实 综合 系统 ， 通 过 它 可 将 任何 飞机 用 作 飞 行 模拟 器 。 


如 图 17-1 所 示 ， 该 系统 的 核心 是 一 个 定制 化 的 完全 沉浸 式 头 戴 式 显示 器 ， 中 央 装 有 一 台 视 频 摄像 头 。 摄 像 头 拍摄 的 视频 信 
号 将 传送 至 一 台 连 接 至 航空 数据 总 线 的 高 性 能 笔记 本 电脑 ， 通 过 专门 的 软件 算法 分 析 视 频 信 号 ， 并 准确 定位 驾驶 舱 尾部 、 挡 风 玻 
璃 和 机 窗 前 部 的 位 置 一 一 即 电脑 生成 的 图 像 再 回 传 至 显示 器 、 呈 现在 用 户 面前 。 


> 
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图 17-1 本 图 中 ， 融 合 现实 头 戴 式 显示 器 为 用 户 提 供 的 景象 ， 是 机 舵 内 部 和 仪器 实景 与 机 窗 上 的 电脑 生成 图 像 的 结合 


图 片 来 源 : NASA 


通过 置 入 显示 单元 的 惯性 测量 单元 (IMU) 监控 用 户 的 头 部 方向 转动、 倾斜 、 摇 摆 ) ， 与 来 自 航空 总 线 的 飞机 控制 器 运 
动 、 空 速 、 飞 行 方向 等 数据 结合 ， 生 成 并 精确 记录 电脑 图 像 。 


融合 现实 系统 提供 两 个 基本 操作 模式 。 如 图 17-2 所 示 ， 第 一 种 模式 的 机 舱 内 部 为 真实 景观 ， 但 挡 风 玻璃 和 机 窗外 的 所 有 图 
像 都 由 电脑 生成 。 这 样 一 来 ， 创 建 训练 场景 时 便 可 拥有 极 大 的 灵活 性 。 用 户 可 能 实际 飞行 在 倪 靖 的 沙漠 上 空 ， 显 示 器 中 看 到 的 却 
是 细致 入 微 的 山地 景观 。 通 过 这 一 模式 ， 学 员 可 以 数 干 次 地 练习 复杂 路 线 、 精 确 跑道 飞行 和 和 母 舰 着 陆 。 或 者 如 图 17-2 的 描述 ， 
在 方圆 数 公里 没有 其 他 飞机 的 情况 下 ,练习 复杂 的 空中 加 油 操作 及 其 他 列队 飞行 场景 。 无 须 歼 言 ， 在 本 操作 模式 下 ， 强 烈 建议 在 
机 舱 配 备 一 名 安全 驾驶 员 。 


第 二 种 操作 配置 名 为 “模板 模式 ”， 如 图 17-3 所 示 。 这 种 配置 同时 向 用 户 展示 机 上 舱 内 部 实景 与 5 机 外 部 的 景象 ， 但 会 在 外 
部 视野 中 添加 飞机 等 电脑 生成 的 物体 。 同 样 ， 这 一 模式 下 的 应 用 场景 范围 也 拥有 无 限 潜力 。 相 比 于 需要 其 他 飞机 和 机 组 人 员 参 与 
的 传统 实 境 训练 任务 ， 飞 行 员 磨 炼 技 艺 所 花费 的 成 本 仅 是 过 去 的 一 小 部 分 ， 危 险 性 也 更 低 。 如 果 在 模拟 过 程 中 与 虚拟 飞机 发 生 冲 
撞 ， 只 需 重 启 训练 应 用 、 重 新 开始 即 可 (Merlin，2015) 。 


此 外 ， 融 合 现实 系统 相 较 用 于 发 展 提升 高 级 飞行 技能 的 传统 地 面 模拟 器 ， 也 有 许多 明显 的 优势 。 即 使 是 最 一 流 、 最 顶尖 的 全 
动态 飞行 模拟 器 ， 也 无 法 重建 G 载 荷 的 内 部 感觉 与 其 微妙 的 前 庭 效 应 、 机 身 拌 震感 或 能 量 流失 感 。 而 使 用 空中 模拟 器 ， 则 可 以 保 
留 这 些 重要 的 感官 提示 。 





图 17-2 ”融合 现实 系统 的 一 种 操作 模式 是 在 飞行 员 看 到 的 实体 控制 面板 上 方 ， 显 示 完 全 由 电脑 生成 的 虚拟 环境 。 本 图 为 空中 加 油 
模拟 中 的 截图 ， 飞 行 员 正 试 图 将 虚拟 接头 接 入 电脑 生成 的 油箱 一 侧 伸 出 的 锥 套 
图 片 来 源 : NASA 








图 17-3 图 中 的 融合 现实 系统 正在 运行 模板 模式 ， 在 飞机 外 部 实景 的 基础 上 显示 电脑 生成 的 虚拟 油箱 





妈 片 来 源 : NASA 











17.2 ”任务 规划 与 预演 


模拟 器 与 训练 系统 在 美军 所 有 军种 和 大 部 分 工业 国家 的 国防 部 队 中 ， 都 发 挥 着 关键 性 的 作用 。 这 些 模 拟 器 既 有 大 型 实体 系统 
(如 美国 海军 的 USS Trayer (BST 21) ，210 英 尺 (64 米 ) 长 的 阿利 ' 伯 克 级 驱逐 舰 模拟 器 ， 可 训练 新 兵 应 对 17 种 不 同 的 船上 紧 
急 情 形 ) ， 也 有 战斗 机 飞行 员 使 用 的 顶尖 高 保 真 全 动态 飞行 模拟 器 。 奔 赴 海 外 战场 的 每 位 美军 士兵 都 在 准备 阶段 使 用 过 模拟 器 ， 
并 且 日 渐 依赖 沉浸 式 虚 拟 训练 。 与 所 有 模拟 器 的 用 法 一 样 ， 这 些 系统 使 士兵 们 有 机 会 以 安全 、 节 约 成 本 的 方式 ， 磨 炼 技能 、 预 演 
任务 、 犯 错 而 不 会 造成 实际 后 果 。 下 文 将 简要 介绍 若干 此 类 方案 。 


17.2.1 步兵 训练 系统 


步兵 训练 系统 (DSTS) 是 专 为 美军 设计 的 完全 沉浸 式 虚 拟 现实 步兵 团 训练 方案 。DSTS 在 基本 配置 下 是 一 个 独立 稳健 的 训练 
系统 ， 最 多 可 容纳 9 名 士兵 ， 相 当 于 目前 美军 一 个 步兵 班 的 标准 规模 。 如 图 17-4 所 示 ， 每 位 士兵 装备 一 个 立体 头 戴 式 显 示 器 ， 配 
以 追踪 头 部 位 置 与 方向 的 集成 传感器 、 进 行 话 音 模拟 和 无 线 电 交 流 的 立体 扬声器 和 话 简 、 装 有 显示 器 成 像 所 需 图 形 硬件 的 小 背 
包 、 追 踪 用 户 身体 运动 的 其 他 传感器 ， 以 及 一 件 仪表 化 武器 。 





图 17-4 图 中 ， 一 名 美军 士兵 装备 齐全 ， 利 用 步兵 训练 系统 (DSTS) 参与 训练 情景 




















图 片 来 源 : 美国 国防 部 


























每 位 士兵 的 训练 区 域 为 10 平 方 英尺 〈 约 9.3 平 方 米 ) ， 士 兵 站 在 区 域 中 心 一 块 直径 4 英尺 ( 约 1.2 米 ) 的 橡胶 垫上 ， 通 过 感知 
脚下 的 地 垫 ， 始 终 站 在 特定 的 训练 区 域内 。 与 实际 走路 时 不 同 ， 士 兵 们 通过 武器 上 的 简易 控制 器 虚拟 模式 ， 即 可 操控 自己 的 位 
置 。 这 一 系统 功能 使 部 队 可 在 小 面积 、 多 用 途 设 施 内 开展 训练 ， 成 本 仅 为 实际 操练 的 一 小 部 分 。 


DSTS 系 统 专 为 行动 编队 、 排 险 等 班 队 策略 (并 非 射击 技巧 练习 ) 设计 ， 同 样 提供 了 无 限 的 训练 场景 。 九 人 系统 非常 便携 ， 
只 需 有 电源 和 1600 平 方 英尺 ( 约 148.6 平 方 米 ) 的 空间 ， 随 时 随地 都 可 以 使 用 。 全 世界 已 有 数 百 台 投入 使 用 ， 而 且 能 无 限 联网 ， 
完成 更 大 型 、 地 理 上 分 散 的 训练 任务 (Koester，2013) 。 


17.2.2 PARASIM 虚 拟 现实 降落 侈 飞行 模拟 器 


早 在 9 世纪 的 古代 中 国 ， 人 类 就 有 了 从 高 空中 跳 下 、 安 全 着 陆 的 创 想 。 有 历史 记载 的 首 个 名 人 设计 的 降落 伞 来 自 1495 年 的 列 
奥 纳 多 ` 达 . 芬 奇 (Leonardo da Vinci) 。 该 设计 使 用 金字 塔 形 的 亚麻 座舱 盐 ， 用 方形 的 木 架 撑 开 。1783 年 ， 法 国 物理 学 家 路 易 - 
塞 巴 斯 蒂 安 - 勒 诺尔 芒 (Louis-Sebastien Lenormand) 发 明了 第 一 个 可 实际 使 用 的 降落 伞 ， 被 普遍 认为 是 现代 降落 伞 系 统 的 先 
驱 。 一 战 期 间 ， 在 他 的 发 明基 础 上 ， 最 终 出 现 了 系 留 观测 气球 上 的 炮兵 观察 员 所 使 用 的 首 批 军用 降落 伞 。 观 测 气 球 是 极 易 被 敌 机 
打击 的 危险 目标 ， 一 旦 发 现 风险 ， 观 察 员 便 需 要 跳伞 逃生 。 


直到 现在 ， 降 落 伞 已 成 为 大 部 分 现代 化 军队 的 重要 工具 。 它 们 能 迅速 向 战区 运送 大 批 士兵 、 设 备 和 补给 物资 ， 也 可 帮助 特种 
部 队 在 深夜 悄 无 声息 地 直接 深入 政 方 腹地 。 然 而 ， 尽 管 降落 伞 的 设计 与 运用 有 了 很 大 的 发 展 ， 究 其 性 质 而 言 ， 降 落 伞 仍 然 是 一 项 
高 度 危险 的 活动 ， 毕 竟 其 变化 多 种 多 样 ， 潜 藏 着 许多 故障 点 。 经 常 使 用 降落 伞 的 专业 人 士 一 直 在 不 断 寻找 能 够 降低 风险 的 新 技术 
与 新 方法 。 


本 领域 的 一 大 进步 ， 是 加 州 霍 又 市 Systems Technology 公 司 所 研发 的 PARASIM 虚 拟 现实 降落 伞 飞 行 模拟 器 ， 如 图 17-5 所 
示 。 它 最 初 是 为 美国 林 务 局 设计 的 ， 用 于 训练 空降 消防 员 (森林 次 火 员 ) 利用 降落 伞 搜 查 紧 急 火险 。 如 今 ， 这 一 系统 已 成 为 美军 
所 有 军种 、 特 种 作战 司令 部 、 美 国 农业 部 林 务 局 、 美 国土 地 管理 局 和 全 球 类 似 机 构 的 关键 训练 工具 。 





图 17-5 ”美军 所 有 军种 及 美国 其 他 部 门 与 机 构 都 在 使 用 PARASIM 虚 拟 现实 降落 件 飞 行 系统 ， 用 于 重要 飞行 任务 的 人 员 培 训 











到 片 来 源 : Systems Technology 公 司 





PARASIM 系 统 拥 有 多 重 配置 ， 可 根据 终端 用 户 需求 自主 选择 。 例 如 ， 在 预先 规划 好 的 定点 自由 落体 任务 中 ， 伞 兵 跳出 机 舱 
后 ， 立 即 呈 水 平 姿势 ， 直 至 降落 伞 打开 ; 如 果 是 定点 跳伞 ， 则 相对 迅速 地 转 入 垂直 方向 。 为 了 支撑 这 些 任务 训练 ，PARASIM 的 
其 中 一 个 版 本 配备 有 动力 绞车 ， 在 模拟 过 程 中 ， 一 旦 虚拟 降落 伞 打开 ， 便 可 立即 将 用 户 由 水 平 自动 转 为 垂直 姿势 。 


本 产品 有 另 一 个 版 本 专门 用 于 机 组 人 员 的 应 急 弹 射 和 跳伞 训练 。 在 大 部 分 实际 训练 场景 中 ， 这 些 情景 下 都 会 立即 展开 降落 
伞 ， 因 此 模拟 器 中 无 须 配备 额外 的 吊 具 。 


如 图 17-6 所 示 ， 两 个 版 本 系统 的 基本 配置 都 包含 一 个 立体 头 戴 式 显示 器 (此 部 件 可 根据 客户 系统 规格 更 改 ) ， 用 于 追踪 用 
户头 部 方向 的 IMU 传 感 器 和 控制 绳 /转向 开关 。 在 预 规划 跳伞 与 延迟 开 伞 训练 使 用 的 模拟 器 版 本 中 ， 还 配备 了 一 个 微软 Kinect 传 
感 器 (参见 第 11 章 ) ， 用 于 追踪 手掌 与 手臂 动作 ， 实 现 对 虚拟 空间 中 的 下 落 控制 ， 模 拟 实际 跳伞 的 情形 。 





图 17-6 PARASIM 庶 拟 现实 降落 伞 飞 行 模拟 器 包含 一 个 立体 宽 视 场 头 戴 式 显示 器 和 若干 用 于 追踪 用 户头 部 方向 的 传感器 

















图 片 来 源 : 美国 国防 部 





























这 款 模拟 器 真正 的 魔力 在 于 它 的 软件 。PARASIM 是 一 款 高 保 真 、 基 于 物理 的 跳伞 模拟 器 ， 其 中 包含 50 多 种 不 同 的 降落 伞 设 
计 ， 每 一 种 设计 的 详细 性 能 特征 都 能 在 模拟 器 中 准确 复制 。 如 此 一 来 ， 在 任何 大 气 条 件 下 ， 使 用 任何 降落 伞 都 能 进行 高 度 精确 的 
训练 。 该 系统 以 新 手 和 有 经 验 的 伞兵 为 训练 对 象 ， 可 以 模拟 故障 和 紧急 程序 、 伞 衣 控 制 ， 培 养 适 当 的 情景 意识 、 练 习 各 种 着 陆 技 
巧 ， 等 等 。 该 软件 包 中 还 包含 基于 真实 场景 的 各 种 模拟 环境 (STI，2013a) 。 


PARASIM 另 一 项 非常 实用 的 功能 是 它 能 够 与 其 他 系统 无 限 联网 。 在 这 种 模拟 当中 ， 所 有 伞兵 都 可 以 看 到 其 他 人 的 图 像 ， 是 
集体 任务 规划 和 预演 的 理想 手段 。 


如 图 17-7 所 示 ， 本 系统 的 男 一 版 本 可 以 用 来 训练 伞兵 指挥 官 。 利 用 上 一 节 提 到 的 融合 显示 技术 ， 本 系统 可 改进 为 一 个 混合 
现实 应 用 ， 以 培养 并 提高 盯 望 和 管理 战斗 配置 伞兵 所 需 的 技能 ， 也 可 与 PARASIM 集 体 用 户 配合 使 用 (STI，2013b) 。 





图 17-7 PARASIM 系 统 的 伞兵 指挥 官 版 本 是 一 款 混合 现实 应 用 ， 可 以 对 伞兵 指挥 官 进 行 空降 作战 睦 望 与 管理 的 深度 训练 





图 片 来 源 : Systems Technology 公 司 


17.3 ”步兵 情景 意识 


自古 以 来 ， 战 场 就 一 直 是 充满 混乱 和 各 种 不 确定 性 的 地 方 ， 情 报 则 是 战士 手中 最 有 价值 的 东西 。 确 实 ， 孙 子 于 公元 前 6 世纪 
写 下 的 经 典 兵书 《孙子 兵法 》 中 也 上 暗暗 强调 ， 战 场 上 的 胜利 源 自 于 指挥 官 获取 、 掌 控 、 操 纵情 报 的 能 力 。 用 现代 的 语言 解释 ， 情 
报 指 敌人 的 位 置 与 军力 信息 、 我 军 战队 与 位 置信 息 以 及 无 人 机 等 远程 传 感 平台 和 其 他 飞行 器 、 卫 星 等 传 来 的 信息 。 在 理想 状态 
下 ， 每 名 士兵 应 当 同时 是 一 个 大 型 网 络 中 的 情报 使 用 者 与 生产 者 ， 这 也 是 美军 研究 了 数 十 年 的 话题 。 过 去 几 年 ， 这 样 一 个 系统 的 
基本 要 素 已 然 得 到 部 署 使 用 。 


Nett Warrior 


Nett Warrior 是 一 套用 于 美军 战斗 任务 的 集成 化 步兵 情景 意识 系统 。 如 图 17-8 所 示 ， 目 前 该 系统 采用 了 一 台 类 似 于 安 卓 智 
能 手机 的 手持 / 胸 佩 式 设 备 ， 与 士兵 的 步兵 电台 连接 ， 可 以 共享 位 置信 息 、 短 信 、 照 片 、 地 图 及 其 他 数据 。 这 种 安全 的 电台 连接 
功能 名 为 “移动 自 组 织 网 络 ”。 


本 项 目 正 在 积极 开发 当中 ， 下 一 阶段 将 向 系统 增加 一 台 头 戴 式 增强 现实 显示 部 件 ， 用 于 白天 与 夜间 的 战术 应 用 。 该 阶段 的 目 
的 是 通过 联网 平视 设备 增强 士兵 的 情景 意识 ， 减 少 误杀 ， 加 大 杀伤 力 ， 提 高 生存 概率 和 操控 性 能 。 


图 17-9 是 用 这 种 设备 显示 战术 信息 的 示例 。 位 于 新 墨西哥 州 阿 尔 伯 克基 的 应 用 研究 联合 公司 (Applied Research 
Associates) 与 美国 国防 高 等 研究 计划 署 (DARPA) 经 历 长 达 6 年 的 合作 ， 开 发 出 了 用 于 此 系统 的 基线 软件 ARC4。 这 款 无 显示 
限制 的 ARC4 软 件 将 精确 的 地 理 图 标 翅 加 到 用 户 的 真实 视野 上 ， 系 统 可 以 通过 装载 在 头盔 上 的 追踪 /视频 处 理 单元 准确 地 放置 这 些 
图 标 化 信息 。 这 一 界面 的 军用 版 本 可 为 指挥 官 和 小 型 战队 提供 通用 作战 态势 图 ， 包 括 平 视 式 蓝 军 (友军 ) 追踪、 导航 、 目 标 交 
接 、 战 队 领 导 与 单个 战士 间 的 非 语言 、 无 视线 交流 (Applied Research Associates，2015) 。 





图 17-8 本 图 中 ， 美 军士 兵 正在 使 用 基于 安 卓 的 Nett Wattiot 集 成 化 步兵 情景 意识 与 任务 指挥 系统 














图 片 来 源 : 美国 国防 部 
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图 工 吕 多 秆 信和 时 





图 17-9 本 图 是 新 墨西哥 州 阿尔 伯 克 基 的 应 用 研究 联合 公司 所 开发 的 ARC4 增 强 现实 软件 方案 ， 应 用 于 头 戴 式 士兵 战略 信息 显示 
器 的 示例 





图 片 来 源 : Applied Research Associates 公 司 


飞机 是 人 类 创造 过 的 最 复杂 也 最 重要 的 机 器 之 一 。 飞 机 的 数量 规模 和 功能 随 着 时 间 的 推移 不 断 扩大 和 提升 ， 但 对 安全 操作 和 
有 效 利 用 带 来 的 挑战 也 越 来 越 大 。 下 面 几 节 中 ， 我 们 将 讨论 这 些 挑 战 ， 并 看 看 应 用 虚拟 和 增强 现实 实现 技术 所 得 出 的 解决 方案 。 


军用 《机 ， 尤 其 是 战斗 机 的 座舱 设计 在 过 去 几 十 年 发 生 了 重大 变化 。 从 前 ， 座 舱 中 装 满 了 几 十 个 开关 、 按 钮 、 其 他 控制 设 
备 ， 还 有 无 数 高 度 编码 化 的 仪表 仪器 ， 提 供 有 关 飞 机 系统 、 导 航 、 武 器 状态 、 传 感 器 等 的 信息 。 这 些 信息 往往 以 字母 和 数字 相 结 
合 的 方式 呈现 ， 总 体 目 的 是 提供 关键 信息 ， 帮 助 飞行 员 在 脑海 中 形成 对 飞机 外 部 世界 的 图 像 。 这 种 复杂 心理 任务 的 要 求 反 而 超出 
了 实际 驾驶 飞机 、 解 决 飞行 几何 问题 、 空 中 作战 演习 和 参与 战术 作战 的 任务 本 身 。 这 种 早期 设计 的 最 大 问题 在 于 ， 飞 行 员 被 迫 消 
耗 大 量 时 间 和 精力 ， 来 读 取 座舱 内 部 的 仪表 仪器 或 破解 斑驳 不 清 的 传感器 图 像 ， 反 而 无 法 查看 目标 四 散 、 危 机 四 伏 的 外 部 世界 。 
直接 结果 就 是 飞行 员 频 繁 感到 信息 过 载 ， 压 力 过 大 ， 冰 失 情景 意识 。 


多 功能 显示 器 (周围 装 有 按钮 的 小 型 显示 屏 ) 的 运用 把 同样 有 关 飞 机 系统 、 导 航 、 武 器 状态 、 传 感 器 等 的 信息 有 逻辑 地 呈现 


在 几 个 页 面 上 ， 而 不 是 杂乱 无 章 地 四 处 显示 ， 帮 助 飞行 员 极 大 地 改善 了 信息 处 理 的 能 力 。 同 样 ， 平 视 显示 器 ， 又 称 HUD， 是 一 
种 透明 屏幕 或 合并 器 ， 通 常 装 在 座舱 仪表 盘 上 方 与 视线 相 平 的 位 置 。HUD 的 大 幅 应 用 以 及 以 符号 显示 部 分 座舱 电子 设备 的 字母 
与 数字 信息 ， 也 减轻 了 飞行 员 的 负担 。 但 是 这 种 手段 主要 的 限制 因素 在 于 ， 飞 行 员 必 须 直 视 前 方才 能 看 到 信息 。 

下 一 代 合 理 的 座舱 设计 应 是 将 信息 显示 器 从 平视 显示 单元 转移 成 光学 部 件 ， 直 接 安装 到 飞行 员 头 盔 护 目镜 的 内 部 或 镜面 上 。 
有 了 这 种 系统 ， 无 论 飞行 员 的 头 部 朝向 哪里 ， 都 能 看 到 显示 出 的 关键 信息 ， 而 且 最 大 幅度 地 增加 了 飞行 员 观 察 飞机 外 部 而 非 座 舱 
内 部 的 时 间 。 从 不 同 角度 出 发 ， 都 可 以 将 头 爸 显示 器 称 为 首 批 广泛 应 用 的 增强 现实 系统 。 


到 今天 为 止 ， 全 世界 已 经 开发 出 数 十 种 用 于 固定 曙 和 旋 趾 飞机 的 头盔 显示 器 ， 其 设计 目的 总 结 如 下 : 














向 飞行 员 展 示 目 标 锁定 、 导 航 及 飞机 性 能 数据 。 
指挥 大 离 轴 角 (HOBS〉 空 对 空 及 空 对 地 武器 。 





























-控制 雷达 和 前 视 红 外 雷达 (FLIR) 等 机 上 传感器 。 





显示 传感器 视频 。 


17-10 展 示 了 固定 层 和 旋翼 飞机 中 目前 正在 使 用 的 两 种 现代 化 头盔 显示 器 。 





图 17-10 ”本 图 展示 了 美军 飞机 目前 正在 使 用 的 两 种 头 戴 式 显示 器 。 左 图 为 A-10 雷 电 攻 击 机 和 空军 国民 警卫 队 / 空 军 后 备 役 F-16 
Block 30/32 毒 蛇 战 斗 机 所 使 用 的 GENTEX Scorpion 头盔 指引 系统 ， 右 图 为 泰 雷 效 TopOwl 头 盔 瞄 准 显示 器 ， 正 广泛 用 于 16 个 国家 


的 五 大 直升机 项 目 ， 包 括 AH-1Z 了 眼镜 蛇 直 升 机 和 UH-1Y 毒 液 直升机 








球 顶 尖 技 术 公 司 ，www .thalesgroup.com 





























图 片 来 源 ， 泰 雷 效 公司 一 Thales， 航 空 航天 、 交 通 、 国 防 和 安全 市 场 的 4 











必须 说 明 ， 使 用 这 种 应 用 时 ， 过 宽 的 视 场 显示 实际 上 是 一 种 阻碍 ， 人 存在 潜在 的 危险 。 我 们 的 目标 是 在 不 混淆 视野 的 情况 下 ， 
向 飞行 员 提 供 有 关机 载 武 器 和 传感器 目标 锁定 工具 包 的 重点 信息 ， 避 免 造成 灾难 性 的 后 果 。 


F-35 联 合 打击 战斗 机 头盔 显示 系统 


洛克 希 德 : 马 JF-35 闪 电工 式 联合 打击 战斗 机 上 的 头盔 显示 系统 (HMDS) 是 目前 正在 使 用 的 最 先进 的 HMDS 系 统 ， 代 表 了 
这 一 技术 领域 的 绝对 顶尖 水 平 。 


如 图 17-11 所 示 ， 轻 型 头盔 中 内 置 一 台 具 有 数码 夜 视 功能 的 30* x40° 双 目 视 场 、 高 亮度 、 高 清 显示 器 。 作 为 一 项 全 集成 化 日 
夜 飞行 武器 和 传感器 数据 可 视 化 方案 ， 该 系统 的 作用 绝 不 仅仅 是 使 武器 瞄准 目标 那么 简单 ， 它 还 为 机 舱 内 的 飞行 员 提供 了 完全 沉 
浸 式 功能 。 对 于 夜间 任务 ， 除 了 传感器 和 武器 提示 外 ， 系 统 还 可 将 夜 视 景象 直接 投射 到 护 目镜 内 部 ， 无 须 男 外 佩戴 夜 视 镜 。 














图 17-11 本 图 是 F-35A 闪 电工 式 战斗 机 头盔 显示 器 的 斜视 图 ， 该 显示 器 通过 飞机 外 部 安装 的 6 个 传感器 包 获 得 的 实时 影像 ， 确 保 


飞行 员 拥 有 绝 佳 的 情景 意识 




















到 片 来 源 : 美国 国防 部 





























这 一 系统 最 为 创新 的 功能 之 一 ， 是 如 同 机 身 不 存在 一 般 显 示 座 舱 外 部 的 360" 球 形 视 野 ， 包 括 《机 下 部 与 四 周 。 这 种 功能 
时 也 称 为 “玻璃 座舱 ”， 是 通过 电子 光学 分 布 式 孔 径 系统 实现 的 ， 该 系统 由 F-35 机 身 周 围 安 装 的 6 台 传感器 组 成 。6 台 传感器 的 
区 加 视 场 ， 配 合 导弹 和 飞机 侦 测 、 对 策 提示 ， 生 成 无 遮挡 的 球形 图 像 (球面 度 为 4r) 。 图 17-12 的 例子 ， 便 是 飞行 员 将 红外 景象 
和 电子 设备 及 传感器 数据 结合 后 得 到 的 头 公 显 示 器 影像 。 





图 17-12 F-35 战 斗 机 的 分 布 式 孔径 系统 (DAS) 将 机 舱 外 部 传感器 捕获 的 实时 图 像 与 机 载 电子 设备 系统 的 数据 相 融 合 








图 片 来 源 : S.Aukstakalnis 








17.4.2 ”商用 航空 领域 


商用 航空 领域 飞行 员 所 面临 的 信息 获取 与 认 知 处 理 问 题 与 军 方 飞行 员 不 无 相似 之 处 ， 而 前 者 尚 不 存在 作战 操作 、 武 器 瞄准 和 
使 用 等 额外 负担 。 特 别 之 处 在 于 ， 商 用 航空 领域 的 挑战 是 在 大 雾 、 暴 雨 等 低能 见 度 条 件 下 的 起 降 ， 以 及 相同 状况 下 滑行 时 的 跑道 
入 侵 问题 。 这 些 问 题 显然 并 不 新 鲜 ， 而 即使 飞机 制造 商 和 电子 设备 供应 商 已 经 将 平视 显示 技术 应 用 于 各 种 机 型 ， 飞 行 员 只 有 在 前 
视 时 能 够 看 到 信息 的 问题 仍然 存在 。 因 此 ， 多 家 制造 商 开始 将 头 戴 式 显示 器 用 于 商用 《机 中 ， 作 为 驾驶 舱 电 子 设备 套装 的 一 个 选 
项 。 以 色 列 海 法 市 埃 尔 比特 系统 公司 (Elbit Systems，Ltd) 便 是 其 中 之 一 。 


Skylens 显 示 部 件 


Skylens 是 埃 尔 比特 Clearvision 增 强 型 飞行 视 景 系统 (EFVS) 的 穿戴 式 显示 部 件 。Clearvision 系 统 采 用 安装 在 机 身 外 部 的 
多 光谱 传感器 捕捉 黑暗 中 和 低能 见 度 下 的 地 形 与 机 场 灯光 ， 将 之 与 来 自 全 球 数据 库 的 拓扑 结构 及 共 形 飞行 引导 符号 体系 相 结 合 ， 
一 般 会 投射 到 可 折 对 平视 显示 器 上 ， 在 实际 能 见 度 有 限 甚至 为 零 的 情况 下 ， 也 能 提供 外 部 世界 的 高 保 真 景象 。 

Skylens 显 示 部 件 可 以 通过 头 戴 式 设备 ， 把 一 般 展 示 在 平视 显示 器 上 的 同等 信息 提供 给 飞行 员 。 通 过 追踪 飞行 员 的 头 部 动 
作 ， 可 以 在 飞行 员 眼 睛 扫 过 屏幕 时 ， 将 关键 信息 与 符号 稳定 化 并 与 真实 世界 相关 联 ， 提 升 操作 人 员 精 密 进 场 和 非 精 密 进 场 的 能 
力 ， 降 低 可 控 飞 行 撞 地 (CFIT) 的 风险 。 


skylens 系 统 本 身 是 一 台 单眼 、 护 目镜 外 显示 器 ， 其 图 像 来 源 是 一 台 1280x 1024 单 色 (绿色 ) 微型 显示 器 ， 有 效 区 域 为 
1024x1024 的 圆 形 区 域 。 该 系统 采用 三 重 余 度 光学 传感器 进行 头 部 追踪 。 


17.4.3 ”民用 领域 


通用 航空 也 和 商用 、 军 用 领域 一 样 ， 面 临 着 信息 获取 和 精神 处 理 的 挑战 。 昌 然 在 过 去 十 年 ， 通 用 领域 的 座舱 电子 设备 已 经 利 

一 流 的 多 功能 显示 设备 ， 在 地 形 、 导 航 辅助 、 危 害 、 天 气 侦 测 和 交通 意识 信息 的 可 视 化 方面 取得 了 重大 进展 。 然 而 ， 飞 行 员 在 
获取 信息 时 ， 同 样 需要 将 注意 力 放 在 座舱 内 部 而 非 舱 外 的 天 空 。 并 且 ， 目 前 的 显示 技术 依然 要 求 飞行 员 通 过 自己 的 大 脑 将 有 关 飞 
机 周围 环境 的 2D 信 息 转 换 为 3D 心 理 图 像 ， 极 大 地 增加 了 他 们 的 工作 负荷 ， 提 高 了 压力 水 平 。 


但 与 军用 和 商用 领域 不 同 ， 通 用 航空 爱好 者 们 直到 最 近 也 没有 找到 可 行 (或 经 济 上 可 以 承担 ) 的 解决 方案 。 所 幸 ， 增 强 现 实 
软件 与 现实 硬件 的 发 展 ， 以 及 美国 和 国际 民航 当局 开展 的 看 似 毫 不 相 天 的 行动 ， 一 同 推动 了 某 些 了 不 起 的 潜在 信息 显示 方案 ， 惠 
及 通用 航空 领域 。 

简 而 言 之 ， 如 果 想 在 2020 年 1 月 1 日 之 后 在 指定 的 美国 空域 (A 类 、B 类 、C 类 空域 和 部 分 D 类 、E 类 空域 ) 驾驶 机， 根据 联 
邦 法 规 要 求 ， 飞 机 必须 配备 ADS-B (广播 式 自动 相关 监视 ) 应 答 器 。 这 个 小 小 的 电子 装置 简称 为 ADS-B OUT 发 射 器 ,可 以 将 飞 
机 的 高 度 、 空 速 、GPS 位 置 发 送 给 地 面 卫星 接收 站 ， 以 及 附近 配 有 ADS-B IN 接收 器 的 其 他 飞机 。 空 中 交通 管制 员 和 装 有 适当 设 
备 的 飞机 可 以 通过 这 些 信 息 实 时 地 “看 到 ”附近 的 飞机 ， 最 终 强化 空中 交通 的 管理 与 安全 。 一 般 而 言 ，AD9 数 据 显 示 在 驾驶 舱 内 
的 2D 多 功能 显示 器 上 。 


Aero Glass 


加 利 福 尼 亚 州 圣迭戈 和 匈牙利 布达佩斯 的 Aero Glass 公司 和 另外 几 家 公司 正在 研发 如 何 通 过 增强 型 头 戴 式 显示 器 展示 ADS- 
B 和 其 他 仪器 的 信息 ， 所 用 显示 器 包括 Epson Moverio 和 Osterhut Design Group (ODG) R-7 显 示 器 (详情 请 见 第 5 章 ) 。 


图 17-13 展 示 的 是 在 用 户 的 实际 视野 上 以 图 像 和 符号 二 加 这 种 信息 的 视 沉 效果， 无须 顾及 飞行 员 头 部 或 飞机 的 位 置 与 方向 。 


如 图 所 示 ， 平 常 以 2D 形 式 出 现在 多 功能 显示 器 或 飞行 员 手 中 的 地 图 /图 纸 上 的 各 种 原始 数据 成 了 静止 且 随 时 间 变 化 的 3D 画 
面 ， 例 如 受 管制 或 受 限 制 的 空域 面积 、 多 条 航道 、 附 近 飞 机 的 位 置 与 运动 。 这 种 显示 方式 可 以 体现 数据 的 实际 空间 特性 和 精确 位 
置 ， 飞 行 员 的 情景 意识 水 平 也 随 之 提高 ， 可 以 更 直观 地 了 解 其 飞行 的 实际 环境 。 
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图 17-13 ”本 图 是 利用 Aero Glass 软件 、 增 强 现 实 头 戴 式 显示 器 和 追踪 飞行 员 头 部 位 置 与 方向 的 传感器 显示 航空 信息 的 示例 














图 片 来 源 : Aero Glass Corporation 


Aero Glass 系 统 由 一 个 包含 ADS-B 和 其 他 电子 设备 信息 的 软件 包 、 测 量 飞 行 员 头 部 位 置 和 方向 的 传感器 信息 ， 以 及 实际 的 


显示 设备 组 成 。 


17.5 大空 任 务 


世界 各 地 能 够 找到 的 大 部 分 先进 虚拟 与 增强 现实 系统 和 应 用 中 ， 有 许多 都 被 美国 各 地 的 NASA 实 验 室 用 于 载 人 与 无 人 太空 任 


务 。 他 们 花费 了 大 量 的 时 间 、 精 力 和 资金 ， 才 开发 出 了 如 今 训练 所 有 美国 太空 宇航 员 所 使 用 的 一 系列 设施 与 工具 。 大 部 分 训练 都 
在 NASA 位 于 德 克 萨 斯 州 休斯顿 的 约翰 逊 航 天 中 心 的 虚拟 现实 实验 室 (VRL) 完成 ， 图 17-14 是 训练 过 程 一 景 。 





图 17-14 ”本 图 中 ，NASA 宇 航 员 Michael Fincke 正 在 使 用 NASA 约 翰 示 航天 中 心 航 天 器 模拟 工事 中 的 虚拟 现实 硬件 








图 片 来 源 : NASA 








除了 已 进行 多 年 的 传统 训练 与 准备 工作 应 用 之 外 ，NASA 还 将 沉浸 式 虚 拟 现实 系统 和 相关 技术 用 于 以 下 四 大 领域 的 宇航 员 训 





- 舱 外 活动 (EVA) 训练 ， 为 太空 漫步 和 执行 国际 空间 站 〈ISS) 外 的 任务 做 准备 。 









































. 舱 外 活动 救援 简易 援助 (SAFER) 训练 ， 教 导 宇航 员 如 何 使 用 太空 漫步 时 穿戴 的 小 型 独立 推进 式 背 包 系 统 。 一 旦 宇航 员 从 国际 空间 站 
或 航天 器 上 分 离 、 漂 浮 在 捕获 范围 之 外 ，SAFER 可 以 用 来 自救 。 




























































































.机 器 人 技术 操控 ， 教 会 宇航 员 使 用 Canadarm 2 等 机 器 人 系统 。 

















. 零 重力 质量 搬运 ， 模 拟 物体 在 微 重力 环境 下 的 零 重 力 质量 特征 。 (请 记 住 ， 虽 然 物体 在 太空 中 会 失 
搬运 和 控制 造成 极 大 困难 。) 
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但 只 要 足够 大 ， 它 的 质量 仍然 会 对 














Project Sidekick 


尽管 宇航 员 在 太空 旅行 前 已 经 接受 了 长 达 两 年 的 训练 ， 但 如 果 没 有 地 面团 队 成 员 和 主题 专家 的 协助 ， 任 务 也 无 法 执行 。 从 解 
决 工程 问题 到 妥善 开展 舱 内 试验 ， 他 们 付出 了 巨大 的 精力 ， 帮 助 宇 航 员 安全 有 效 地 实现 任务 目标 。 为 此 ，NASA 不 断 研究 各 种 办 
法 ， 通 过 标准 无 线 电 、 视 频 和 文字 交流 以 外 的 方式 提供 这 类 支持 。 本 书 撰写 时 ， 正 有 一 项 名 为 Project Sidekick 的 此 类 研究 正在 
进行 中 。 


该 项 目 借助 微软 HoloLens 等 增强 型 显示 技术 (参见 第 5 章 ) ， 目 标 是 探索 如 何 使 用 沉浸 式 程序 参考 文件 ( 即 ， 手 册 或 指南 ) 
和 已 开发 的 远程 协助 系统 ， 在 必要 时 提供 航空 机 组 信息 与 任务 支持 。 在 混合 现实 场景 (实体 环境 与 虚拟 物体 相 结合 ) 的 概念 基础 
上 ，HoloLens 设 备 内 部 显示 的 高 清 全息 图 可 以 融入 空间 站 内 部 宇航 员 的 真实 视野 中 ， 以 新 的 形式 实现 在 轨 人 员 与 地 面 人 员 的 关 
键 信息 和 指导 交流 。 图 17-15 为 HoloLens 设 备 的 部 署 前 测试 。 
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图 17-15 ”本 图 中 ，NASA 和 微软 工程 师 正 在 NASA 的 Weightless Wonder C9 喷 气 机 上 测试 Ptoject Sidekick ， 该 项 目 通过 微软 HoloLens 
向 在 国际 空间 站 作业 的 宇航 员 提 供 庶 拟 援助 与 地 面 协助 














妈 片 来 源 : NASA 


本 书 撰写 时 ，Sidekick 系 统 设 有 两 种 基本 操作 模式 : 单机 (程序 参考 系统 ) 和 远程 专家 模式 。 

















.单机 模式 允许 宇航 员 查 看 预先 装载 的 大 容量 手册 ， 手 册 中 的 说 明 、 步 又 和 清单 将 以 全 息 图 的 形式 显示 在 宇航 员 觉 得 方便 的 任何 地 方 。 
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.远程 专家 模式 即 视频 电话 会 议 功能 ， 帮 助 地 面 专家 提供 实时 的 第 一 人 称 视角 协助 。 操 作 时 ， 机 组 人 员 打开 全 息 屏幕 便 可 以 看 到 飞行 控制 
队 、 系 统 专家 或 负载 开发 人 员 。 而 地 面 人 员 通 过 HoloLens 的 内 置 摄像 头 ， 也 可 以 看 到 宇航 员 的 工作 场所 ， 根 据 任务 目标 提供 直接 帮助 。 






































Sidekick 项 目 只 是 HoloLens 和 其 他 头 戴 式 增强 型 显示 设备 在 各 种 载 人 与 无 人 太空 项 目的 诸多 应 用 中 的 一 例 。 另 一 项 进行 中 
的 项 目 名 为 OnSight， 它 将 地 球 上 的 科学 家 和 工程 师 放 到 好 奇 号 火星 探测 车 的 运行 环境 虚拟 重建 场景 中 。 利 用 好 奇 号 发 回 的 数 
据 ，HoloLens 内 部 可 以 生成 并 显示 3D 模 型 ， 让 科学 家 以 第 一 人 称 视 角 在 该 区 域内 自由 探索 ， 计 划 新 的 探测 行动 ， 或 者 预览 此 前 
系统 任务 的 结果 。 


17.6 结论 


虚拟 与 增强 现实 技术 在 航空 航天 与 国防 领域 的 大 量 已 有 、 可 靠 的 应 用 中 ， 本 章 仅仅 提 及 了 一 小 部 分 。 相 较 于 其 他 领域 ， 本 领 
域 的 技术 应 用 水 平 领先 出 自 各 种 原因 ， 包 括 清 晰 明确 、 以 任务 为 主 的 需求 (促使 相关 人 士 制定 集中 的 开发 日 程 ) ， 能 够 支持 多 年 
深入 研究 、 开 发 的 预算 ， 投 入 大 量 精力 解决 问题 ， 以 及 技术 发 展 可 观 的 成 效 。 


在 这 方面 ， 美 国 国防 部 和 美国 宇航 局 对 于 虚拟 和 增强 现实 系统 目前 的 一 流 发 展 水 平 ， 做 出 了 不 可 估量 的 贡献 。 他 们 分 别 于 
20 世 纪 60 年 代 和 20 世 纪 80 年 代 开 始 进行 这 些 技术 的 研发 工作 ， 自 此 通过 产品 收购 、 拨 款 、 合 作 、 共 享 主题 知识 和 专家 等 方式 对 
小 型 企业 和 高 校 科 研 人 员 提 供 支 持 ， 因 而 对 这 一 领域 的 发 展 起 到 了 至 关 重 要 的 作用 。 他 们 贡献 最 为 卓著 的 领域 包括 传感器 技术 、 
用 户 界 面 设计 、 双 耳 音频 、 光 学 系统 和 对 人 类 感知 与 表现 的 核心 研究 。 


第 18 章 教育 


从 帮助 学 生 掌 握 各 种 职业 的 核心 技能 ， 到 辅助 学 生 学 习 复 杂 学 科 (如 建筑 学 ) 的 抽象 理论 ， 再 到 推广 儿童 的 体验 式 学 习 ， 虚 
拟 与 增强 现实 技术 在 教育 领域 有 着 惊人 的 应 用 潜力 。 本 章 将 讨论 几 项 证 实 对 学 习 效果 有 积极 影响 的 实际 应 用 ， 同 时 详细 介绍 利用 
虚拟 与 增强 现实 系统 辅助 教学 过 程 所 遭遇 的 困境 。 


18.1 ”实践 型 技能 培养 


虚拟 与 增强 现实 系统 在 教育 领域 最 早期 也 最 成 功 的 应 用 是 培养 特定 实践 型 技能 组 合 。 从 帮助 宇航 员 利 用 沉浸 式 系统 练习 国际 
空间 站 的 组 装 与 修理 程序 ， 到 教授 特定 技术 劳工 知识 ， 这 类 应 用 与 一 站 式 系统 的 开发 都 很 直接 。 简 单 来 说 ， 这 些 应 用 都 有 一 个 共 
同 的 模式 : 拿 起 虚拟 工具 ， 执 行 任务 ， 完 善 动作 与 步骤 ， 直 到 满足 相应 要 求 为 止 。 与 用 于 物理 化 学 等 理论 教学 的 系统 相 比 ， 这 些 
教育 应 用 的 开发 与 推广 要 容易 得 多 。 


本 节 中 ， 我 们 将 探讨 两 个 使 用 沉浸 式 虚 拟 现实 系统 传授 习 得 式 、 熟 练 式 实践 技巧 的 应 用 实例 ， 并 对 其 结果 与 直接 反馈 进行 量 
化 分 析 。 


18.1.1 VRTEX 360 焊 接 模拟 器 


熟练 技工 的 培养 无 一 例外 地 需要 在 教师 指导 下 ， 进 行 数 百 乃至 数 干 个 小 时 的 培训 与 练习 ， 才 能 培养 和 积累 通过 领域 认证 考试 
所 必需 的 技能 组 合 和 专业 知识 。 这 样 的 训练 往往 昂贵 、 危 险 又 费时 ， 其 中 ， 工 业 焊 接 便 是 人 们 普遍 认为 困难 的 一 种 技术 劳工 。 焊 
接 学 徒 们 需要 花费 大 量 的 时 间 、 精 力 和 消耗 材料 ， 反 复 练习 无 数 种 技能 ， 才 能 不 断 打造 优良 产品 。 


为 了 提高 这 一 学 习 过 程 的 效率 ， 同 时 降低 成 本 ， 俄 玄 俄 州 克 利夫 兰 市 一 家 焊接 设备 与 产品 的 跨国 制造 商 林肯 电气 公司 
(Lincoln Electric) 与 康涅狄格 州 东 哈 特 福 德 VRSim 公 司 合作 ， 开 发 了 一 款 高 性 能 虚拟 现实 焊接 模拟 器 ， 供 相关 院 校 用 于 传统 
焊接 工人 培养 的 应 用 与 补充 。 


VRTEX 360 是 一 个 完整 的 焊接 培训 站 ， 可 模拟 各 种 焊接 程序 ， 包 括 自动 保护 金属 极 电弧 焊 (SMAW) 、 气 体 保护 金属 极 电 


弧 焊 (GMAW) 、 管 道 焊接 、 多 工 位 焊接 ， 等 等 。 如 图 18-1 所 示 ， 该 系统 是 完 


沉浸 式 的 ， 包 含 一 个 置 入 焊工 面 咎 内 的 头 戴 式 
显示 器 、 多 个 位 置 传感器 、 高 度 仿真 的 焊 枪 和 托 架 组 件 、 可 调节 焊接 架 和 用 于 系统 控制 及 观察 学 生 操作 的 大 型 平板 显示 器 。 





图 18-1 ”世界 各 地 都 在 使 用 林肯 电气 公司 的 VRTEX 360 电 弧 焊 模拟 器 ， 其 中 包含 训练 各 种 焊接 技能 所 需 的 综合 课程 


到 片 来 源 : 获 林 肯 电 气 公 司 《〈 美 国 俄亥俄 州 克 利夫 兰 市 ) 许可 使 
























































VRTEX 360 按 照 业内 的 标准 方法 与 评估 原则 ， 用 于 专业 化 的 教学 杀身 实践 ， 同 时 又 不 会 出 现 一 般 的 安全 、 材 料 浪费 等 问 


题 。 该 系统 完全 复 刻 了 实际 的 机 器 设置 ， 真 实地 模拟 出 焊接 熔 池 、 声 音 与 效果 ， 并 配 有 实时 测量 并 记录 学 生 训练 结果 的 工具 ， 帮 
助教 师 立 刻 指出 操作 员 动 作 上 的 问题 (Lincoln，2012) 。 


从 VRTEX 360 的 托 架 设备 (在 自动 保护 金属 极 电 弧 焊 过 程 中 夹 住 焊 棒 的 夹具 ) 便 可 看 出 该 系统 的 强大 功能 : 这 一 设备 可 缩 
回 手持 件 内 ， 模 拟 真实 焊接 作业 中 电极 溶化 时 的 反应 ， 而 具体 设备 参数 则 根据 特定 场景 的 材料 与 条 件 设置 而 变化 。 


焊工 面罩 中 装 有 可 以 根据 不 同 瞳 距 调节 的 Sony 1280x720 OLED 双 屏 微 显示 器 和 光学 组 件 。 头 盔 显 示 器 与 焊 枪 的 位 置 和 方 
向 通过 Polhemus 磁 性 位 置 传感器 追踪 (参见 第 11 章 ) 。 如 图 18-2 所 示 ， 该 系统 可 以 根据 学 生 的 手 部 动作 与 角度 、 移 动 时 间 和 训 
练 系 统 设 置 ， 高 度 精 确 地 模拟 焊接 过 程 和 熔 池 动态 。 





图 18-2 ”VRTEX 焊 工 面 覃 采用 综合 面部 显示 器 ， 使 学 员 沉 浸 在 虚拟 环境 中 ， 练 习 焊 接 技术 





























图 片 来 源 ， 获 林肯 电气 公司 (美国 俄 效 俄 州 克 利夫 兰 市 ) 许 可 使 
































该 系统 还 有 一 个 更 小 巧 便携 的 版 本 ， 可 供 课堂 教学 、 招 生 招聘 、 人 资 部 门 筛选 应 聘 者 时 使 用 。 


量化 效果 方面 ， 多 项 研究 (stone 等 ，2001a，2011b，2013) 表明 ， 沉 浸 式 虚拟 现实 焊接 模拟 器 在 培养 核心 技能 方面 取得 
了 显著 的 成 果 ， 所 有 案例 中 ， 学 院 技能 发 展 水 平 都 等 于 或 超过 以 传统 方式 训练 的 学 员 。 其 中 一 项 研究 (stone 等 ，2011b) 结果 
显示 ， 接 受过 综合 训练 (50% 传 统 焊 接 训 练 ，50% 模 拟 训练 ) 的 学 员 ， 其 认证 考试 通过 率 比 只 接受 传统 训练 的 学 员 增 加 了 
41.696。 


目前 ，VRTEX 模 拟 器 已 被 广泛 用 于 焊接 人 才 培 养 ， 应 用 于 全 世界 141 个 国家 ， 共 提供 16 种 语言 的 综合 课程 。 


从 航空 航天 到 汽车 领域 ， 到 制造 业 和 建筑 业 ， 喷 涂 技术 在 各 行 各 业 的 运用 都 十 分 广泛 。 这 项 技艺 远 不 只 是 挥舞 喷枪 、 把 表面 
覆盖 起 来 那么 简单 ， 需 要 大 量 的 训练 和 专业 技能 才能 将 不 同 的 油漆 和 工业 涂料 控制 在 适当 的 厚度 。 喷 涂 不 匀 会 导致 涂 层 不 平整 。 
而 在 不 同行 业 ， 坑 洼 的 涂 层 可 能 引发 各 种 问题 ， 可 能 让 修理 后 的 汽车 变 得 不 甚 美观， 可 能 大 幅 降低 高 性 能 飞机 的 气动 效率 、 提 高 
运作 成 本 ， 甚 至 可 能 造成 火灾 或 腐蚀 。 事 实 上 ，NASA 在 美国 太空 项 目 中 使 用 了 大 量 人 工 涂 刷 的 油漆 和 保护 涂料 。 

专业 喷漆 培训 所 面临 的 难题 包括 环 控 喷 漆 房 费用 过 高 ， 不 同 部 件 和 表面 ( 既 有 简单 的 金属 平面 ， 也 有 车 门 、 飞 机 机 身 壁 板 等 
形状 不 规则 物体 ) 的 设置 与 准备 时 间 过 长 ， 以 及 原材料 成 本 和 潜在 健康 危害 。 这 些 问 题 连 同 其 他 因素 ， 严 重 限制 了 培训 项 目 中 所 


能 传递 的 知识 总 量 。 


康涅狄格 州 东 哈 特 福 德 VRSim 公 司 所 开发 的 SimSpray 培 训 系 统 在 很 大 程度 上 缓解 甚至 解决 了 部 分 上 述 问题 。 为 了 强化 传统 
训练 ，Simspray 在 定制 喷枪 等 实体 部 件 上 添加 了 触觉 反馈 ， 让 使 用 者 感到 “ 反 冲 ”。 此 外 ， 还 配备 了 立体 头 戴 式 显 示 器 和 位 置 / 
方向 传感器 ， 让 学 员 完 全 沉浸 在 模拟 3D 环 境 中 ， 练 习 喷 涂 与 涂 层 制作 相关 技巧 。 


图 18-3 中 是 整个 SimSpray 系 统 ， 包 括 一 个 Polhemus 双 传 感 磁性 追踪 器 ， 可 以 准确 监控 喷枪 以 及 Sony HMZ-T1 立 体 头 戴 式 
显示 器 的 位 置 与 方向 。 
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图 18-3 ”SimSpray 培 训 系 统 结合 了 立体 头 戴 式 显示 器 和 力 反 馈 ， 向 学 员 提 供 允 真 的 训练 工具 





到 片 来 源 : VRSim 公 司 











SimSpray 系 统 配备 一 套 完整 的 软件 设备 ， 提 供 大 量 喷涂 场景 供 选 择 ， 包 括 选 择 流程 、 部 件 (平板 、 波 型 板 、 汽 车 挡 泥 板 、 
油缸 等 ) 、 喷 涂 环 境 车间、 商店、 桥梁 ) 。 系 统 有 两 个 可 用 版 本 (标准 版 及 工业 版 ) ， 可 满足 不 同 的 训练 需要 。 


除了 向 学 员 提 供 图 18-4 中 所 示 的 即时 真实 视觉 反馈 外 ， 系 统 还 配 有 多 种 供 教师 使 用 的 工具 和 指标 ， 以 便 评估 学 员 的 学 习 过 
程 。 一 款 名 为 Paintometer 的 工具 可 以 计算 总 喷涂 时 间 、 测 量 实际 使 用 和 浪费 的 油漆 /涂料 、 喷 涂 的 部 件数 量 、 挥 发 性 有 机 化 合 
物 排放 量 ， 等 等 。 
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Worker's View 


图 18-4 在 专业 教师 指导 下 ， 学 生 可 以 使 用 SimSpray 系 统 反复 练习 、 完 善 技巧 ， 最 终 成 为 熟练 的 喷涂 技工 





图 片 来 源 : VRSim 公 司 











也 许 ，Simspray 最 重要 的 贡献 是 颠覆 了 传统 训练 模式 ， 让 学 生 有 更 多 时 间 实 际 使 用 喷枪 、 练 习 喷涂 技巧 (如 ， 节 制 涂 层 厚 
度 、 喷 射 距离 、 行 程 角度 、 边 缘 融 合 ) 。 这 种 颠覆 传统 的 做 法 让 学 员 可 以 在 短 时 间 内 重复 训练 ， 而 不 会 造成 额外 的 材料 、 消 耗 品 
及 废物 处 理 费用 成 本 。 


与 上 文 介绍 的 VRTEX 焊 接 模拟 器 一 样 ， 业 界 已 经 认可 SimSpray 为 可 行 的 训练 工具 ， 美 国 和 世界 各 地 的 院 校 都 在 使 用 该 系 
统 。 


18.2 理论、 知识 习 得 与 概念 形成 


除了 上 文 介 绍 的 相对 稳定 的 实践 技能 之 外 ， 增 强 与 虚拟 现实 在 建构 性 理论 与 概念 的 教学 应 用 中 也 拥有 巨大 潜力 。 建 筑 与 建筑 
科学 便 是 一 个 很 好 的 例子 。 


18.2.1 建筑 专业 教育 


建筑 专业 学 生 面 临 繁 重 的 学 习 任 务 。 一 方面 ， 大 部 分 本 科 建 筑 专业 以 培养 技能 为 主要 目标 之 一 ， 要 求学 生 能 将 空间 、 构 造 、 
材料 、 功 能 和 美学 完美 融合 于 大 型 住宅 结构 的 设计 当中 。 另 一 方面 ， 学 生 必须 学 会 将 这 些 抽象 概念 准确 地 转换 外 化 ， 才 能 与 他 人 
沟通 创意 和 设计 。 这 一 沟通 过 程 往往 要 通过 多 种 形式 实现 : 设计 方案 、 截 面 图 、 正 面 图 、 草 图 、 颜 色 效果 图 、 成 比例 模型 、 可 视 
化 模型 、 施 工 文件 ， 等 等 。 同 时 完成 这 两 大 任务 的 困难 在 于 ， 在 看 到 设计 的 实体 模型 前 ， 学 生根 本 无 法 把 心理 层面 的 设计 构想 与 


通过 图 纸 、CAD 模 型 等 工具 描绘 出 的 结构 联系 起 来 ， 无 法 像 最 终 用户 一 样 从 结构 内 部 去 真正 体会 它 。 空 间 对 于 到 访 者 有 什么 影 
响 ? 从 不 同 角度 和 位 置 来 看 ， 它 的 外 观 如 何 ? 窗户 的 大 小 与 位 置 是 否 适 合 现 有 及 规划 景观 ? 这 个 基本 的 设计 直观 化 和 外 化 问题 困 
扰 了 业者 数 百 年 之 久 ， 且 远 远 超出 了 现代 学 术 的 范畴 。 


1. 进 入 VR 世 界 


从 一 开始 高 校 科 研 人 员 把 完全 沉浸 式 虚拟 现实 系统 的 单项 组 件 技术 拼凑 起 来 、 转 向 民用 时 起 ， 建 筑 漫 游 (walk-through) 
就 已 成 为 标准 主流 的 应 用 方式 。 其 中 一 部 分 原因 在 于 : 同时 发 展 起 来 的 商用 CAD 实 用 工具 极 大 地 促进 了 可 导入 模拟 工具 的 几何 
模型 的 设计 发 展 。 几 乎 所 有 建筑 师 和 教育 工作 者 都 立刻 明白 了 这 一 技术 的 意义 以 及 解决 建筑 问题 的 能 力 。 虽 然 有 许多 工具 可 以 畏 
助 建筑 空间 的 视觉 分 析 ， 但 头 戴 式 显示 器 或 计算 机 辅助 虚拟 环境 系统 等 沉浸 式 系统 才 是 按照 真实 比例 直观 表现 、 沟 通 和 体验 设计 
决策 的 首选 方案 。 


时 已 至 此 ， 北 美 几 十 所 和 全 世界 数 百 所 大 学 的 建筑 专业 已 经 建立 了 虚拟 和 增强 现实 可 视 化 实验 室 ， 或 正 将 沉浸 式 显 示 器 应 用 
于 课程 教学 当中 。 但 与 此 同时 ， 艰 巨 的 挑战 依然 存在 。 


这 些 系统 在 空间 分 析 、 设 计 审 查 、 查 找 问 题 方 面具 有 明显 的 价值 ， 越 来 越 多 的 案例 分 析 也 证 明了 这 一 点 (参见 第 14 章 ) 。 
但 从 教学 的 角度 来 说 ， 怎 样 才能 实际 测量 出 沉浸 式 与 增强 型 显示 器 在 建筑 设计 教学 中 的 效果 ， 并 与 传统 教学 相 比 较 ? 通过 何 种 机 
制 量化 其 所 带 来 的 好 处 ”具体 指标 有 哪些 ”学生 是 否 还 要 学 习 所 有 的 传统 设计 表现 技法 ”如 答案 为 否 ， 又 应 当 舍弃 哪些 技法 ? 


全 世界 的 高 等 院 校 都 在 努力 寻找 答案 。 已 经 有 人 率先 使 用 这 类 技术 帮助 新 生 锻 炼 夯实 关键 认 知 能 力 ， 如 视觉 空 间 技巧 (在 操 
控 抽 象 二 维 与 三 维 图 形 的 能 力 ) 、 固 体 的 投射 与 重建 等 。 问 题 往往 不 在 乎 教师 的 水 平 ， 而 是 教学 方法 (Pandey 等 ，2015) 。 在 
这 种 类 型 的 应 用 中 ， 可 视 化 技术 的 进步 和 影响 是 可 以 通过 标准 测试 和 与 其 他 技术 的 成 效 对 比 来 衡量 的 。 


那么 设计 分 析 中 依赖 个 人 观点 的 问题 又 该 如 何 解决 呢 ? 在 充满 着 各 类 观点 和 品位 的 领域 ， 怎 么 才能 量化 计算 出 沉浸 式 可 视 化 
技术 的 效果 ? 确实 ,许多 项 目 评价 都 建立 在 教职员 与 其 他 学 生 的 主观 分 析 之 上 (如 设计 审查 中 的 评价 ， 在 各 类 建筑 院 校 也 称 为 批 
评 、 同 傍 互 评 ) ， 有 时 也 来 自学 生 的 推荐 和 详细 调查 ， 其 中 大 部 分 可 能 言 过 其 实 。 


另 一 个 有 待 解决 的 问题 是 ， 在 持续 几 年 的 课程 中 ， 如 何 把 这 些 技术 纳入 课程 设置 。 例 如 ， 为 本 章 查找 资料 时 ， 笔 者 看 到 了 一 
篇 论坛 上 的 匿名 帖 ， 声 称 在 某 个 一 年 制 设 计 工作 室 项 目 中 ， 老 师 的 指导 过 于 简单 : “设计 一 个 漂亮 的 工作 间 。 可 以 使 用 工作 室 里 
的 任何 工具 完成 项 目 。” 发 帖 者 称 ， 自 己 没 有 使 用 实体 材料 ， 而 是 通过 几何 建 模 程序 和 头 戴 式 显示 器 完成 了 该 项 目 ， 但 却 反 而 忽 
略 了 班 上 其 他 同学 独到 的 创意 和 作品 。 对 于 这 位 学 生 而 言 ， 那 是 一 个 忧 然 大 悟 的 时 刻 ， 他 了 解 到 技术 的 使 用 也 关乎 时 机 和 场合 。 
这 个 故事 可 能 过 于 简单 ， 但 却 触及 了 问题 的 核心 ， 教 育 者 们 不 仅 要 思考 如 何 将 这 一 强大 的 新 兴 技 术 与 课程 设置 相 融合 ， 还 要 考虑 
融合 的 时 机 。 


2. 虚 拟 覆盖 


在 建筑 设计 教育 领域 掀起 波澜 的 不 仅 有 沉浸 式 显示 器 ， 第 5 章 中 详 述 的 增强 型 显示 器 也 为 这 一 行业 带 来 变革 性 的 影响 。 它 与 
Autodesk Revit 等 建筑 信息 模型 (BIM) 应 用 ( 详 见 第 14 章 ) 结合 ， 为 建筑 设计 业者 们 带 来 了 全 新 的 机 遇 ， 但 如 何 才 能 指导 学 
生 将 之 合理 运用 于 工作 实践 ? 答案 仍 是 未 知之 数 。 


例如 ， 在 佛罗里达 国际 大 学 (迈阿密) 和 密苏里 州立 大 学 (斯 普 林 菲 尔 德 ) 的 一 项 合作 中 ， 科 研 人 员 对 增强 型 显示 器 、 
BIM、 交 互 课程 的 使 用 开展 了 多 学 科 调 查 ， 试 图 确定 这 些 技术 的 结合 应 用 是 否 能 够 提高 学 生 解 决 问题 与 合作 学 习 的 技巧 ， 乃 至 帮 
助 他 们 设计 出 最 为 适宜 、 性 能 优良 的 建筑 。 如 图 18-5 所 示 ， 调 查 的 其 中 一 部 分 是 要 求学 生 使 用 增强 型 显示 器 ， 碍 看 履 盖 到 的 校 
园 建筑 实景 之 上 的 BIM 数 据 。 
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图 18-5 ”佛罗里达 国际 大 学 (迈阿密 ) 和 密苏里 州立 大 学 (斯 普 林 菲 尔 德 ) 的 研究 人 员 使 用 增强 型 显示 器 ， 帮 助 学 生 将 建筑 信息 
模型 (BIM) 数据 可 视 化 ， 和 覆盖 到 校园 结构 实景 上 























图 片 来 源 : 佛罗里达 国际 大 学 




















这 一 项 目 名 为 “学 习 策 略 : 增强 现实 与 建筑 科学 问题 解决 协同 能 力 ” (Strategies for Learning:Augmented Reality and 
Collaborative Problem-Solving for Building Sciences) ， 部 分 资金 来 自 美国 国家 科学 基金 会 (National Science 
Foundation) 拨款 ， 目 的 是 考察 这 些 技 术 “ 能 否 ” 提 升学 习 效果 ，“ 如 何 ” 打 造 课 程 设置 才能 实现 这 些 效 果 ， 并 开始 建立 测量 
和 分 析 学 习 效果 的 相关 指标 (NSF，2015) 。 


18.2.2 ”谷歌 Expeditions 先 锋 项 目 


虚拟 现实 在 学 习 环境 中 的 应 用 并 不 局 限于 高 等 教育 。 谷 歌 Expeditions 先 锋 项 目 是 一 项 针对 幼儿 园 到 高 中 的 新 型 沉浸 式 教学 
体验 项 目 ， 帮 助教 师 带 领 学 生 开展 虚拟 野外 考察 ， 让 孩子 们 有 机 会 更 深刻 地 了 解 课堂 以 外 的 世界 。 如 图 18-6 所 示 ， 通 过 学 生 头 
上 的 低 成 本 立体 观 景 器 ， 老 师 可 以 带领 他 们 参观 博物 馆 ， 去 到 其 他 遥远 的 地 方 ， 甚 至 可 以 去 太空 ， 学 习 太 阳 系 的 布局 与 组 成 
(Suburu，2015) 。 

该 项 目 是 Google for Education 计 划 的 一 部 分 ， 由 Surburu、PBS、 教 育 类 数据 出 版 商 Houghton Mifflin Harcourt 及 其 他 
机 构 合作 ， 目 的 是 利用 谷歌 公司 的 技术 与 资源 ， 提 升 孩 子 们 的 课堂 学 习 体 验 。 截 至 2015 年 11 月 ， 全 世界 已 经 有 超过 10 万 名 学 生 
在 课堂 上 使 用 谷歌 Expeditions。 


六 -pit Your National Wildlife Refuge 上 二 
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图 18-6 ”通过 谷歌 Expeditions 先 锋 项 目 ， 全 球 10 万 余 名 学 生 在 课堂 学 习 中 使 用 了 价格 低廉 的 虚拟 现实 头 戴 式 设备 











图 片 来 源 : Laurie Sullivan 的 Flickr 相 册 ， 获 CC 2.0 许 可 








学 校 可 以 直接 向 谷歌 公司 申请 该 项 目 。 获 选 后 ， 谷 歌会 向 学 校 提供 Expeditions 工 具 包 ， 包 括 使 用 安 卓 系统 的 华硕 智能 手 
机 、 显 示 系 统 (谷歌 Cardboard 有 眼镜 或 Mattel 的 View-Master 虚 拟 现实 眼镜 ) 、 教 师 用 平板 电脑 、 无 线路 由 器 (方便 线 下 使 用 
智能 手机 ) ， 以 及 教学 材料 。 使 用 这 一 系统 ， 教 师 可 以 带领 多 达 50 名 学 生 ， 游 览 南极 洲 、 雅 典 卫 城 、 中 国 长 城 等 120 多 个 地 方 ， 


每 次 探险 都 是 360" 球 形 画 面 、 视 频 和 声音 的 结合 。 教 师 通过 平板 电脑 控制 探险 过 程 ， 也 可 以 为 学 生 提供 有 天 景点 的 资料 和 知 
识 。 


这 一 项 目 实施 过 程 中 还 有 一 点 非常 重要 ， 谷 歌 公 司 的 代表 会 拜访 使 用 该 系统 的 每 所 学 校 ， 辅 助 安装 设置 ， 并 为 教师 提供 培训 


18.3 结论 


本 章 的 应 用 案例 很 清楚 地 说 明 ， 虚 拟 与 增强 现实 技术 在 教育 领域 大 有 可 为 。 但 在 大 多 数 应 用 中 ， 仪 提供 固定 的 商用 配置 技 
术 ， 而 在 教育 方法 的 艺术 与 科学 上 ， 这 些 技术 的 发 挥 空间 毕竟 有 限 。 在 大 部 分 应 用 领域 ， 教 师 往往 缺乏 使 用 这 类 技术 的 个 人 经 
验 ， 不 能 很 好 地 了 解 它们 对 学 生 有 何 帮 助 ， 也 不 知道 怎样 才能 利用 它们 来 推进 实现 教学 目标 。 


教育 领域 的 数字 化 创新 无 法 自动 转化 为 高 质量 的 教学 成 果 。 正 如 密 吹 根 大 学 富山 健太郎 博士 所 说 的 那样 ， 技 术 的 基本 作用 是 
强化 人 类 的 力量 。 在 教育 当中 ， 只 有 具备 足够 的 教学 能 力 ， 技 术 才 能 起 到 强化 作用 (Toyoma，2015) 。 事 实 上 ， 这 意味 着 如 


果 没 有 熟悉 新 技术 或 接受 过 培训 的 博学 导师 ， 或 缺乏 安排 严谨 的 课程 设置 ， 新 技术 在 改善 教学 效果 方面 恐怕 意义 不 大 。 


假设 举例 ， 使 用 基于 智能 手机 的 立体 观 景 器 ， 让 高 中 学 生 在 古 希 腊 建 筑 废 墟 的 模型 中 邀 游 可 能 是 有 趣 的 课堂 活动 。 但 如 果 没 
有 计划 或 指导 ， 它 也 许 不 能 作为 辅助 工具 ， 只 会 让 学 生 分 心 。 相 反 ， 由 教师 带领 学 生 游览 虚拟 世界 ， 介 绍 多 利安 柱 、 爱 奥 尼 克 
柱 、 科 林 斯 柱 各 自 的 特点 或 庙宇 和 柱廊 ( 带 项 的 走道 或 门廊 ) 间 的 区 别 ， 能 够 极 大 地 提升 传统 课程 的 质量 ， 帮 助 学 生 记忆 知识 。 


加 州 大 学 圣 塔 芭 芭 拉 分 校 的 教育 心理 学 家 理 查 德 - 梅 耶 (Richard E.Mayer) 发 表 过 大 量 有 关 多 媒体 技术 在 教学 与 评估 中 应 用 
的 文章 (Mayer，1999，2003，2005，2008) ， 其 中 许多 研究 发 现 与 虚拟 和 增强 现实 技术 在 教育 领域 的 应 用 直接 相关 ， 是 重点 
推荐 的 阅读 材料 。 


第 19 章 ”信息 控制 与 大 数据 可 视 化 


听 到 大 数据 这 个 词 ， 有 些 人 会 会 意 点 头 ， 有 些 人 则 大 翻 和 白眼 。 无 论 你 的 观点 如 何 ， 抛 开 其 热度 不 谈 ， 对 于 急需 利用 这 些 复 杂 
的 数据 集合 找 出 真实 有 用 的 信息 的 公司 而 言 ， 大 数据 本 身 也 意味 着 大 问题 、 特 紧急 。 本 章 将 讨论 几 个 利用 沉浸 式 虚拟 现实 系统 ， 
强化 理解 大 量 分 散 信息 的 实例 。 


19.1 什么 是 大 数据 


我 们 的 真实 世界 中 包含 着 无 数 的 数字 化 信息 ， 其 增长 速度 也 是 无 限 的。IDC/EMC 的 “数字 宇宙 ” (Digital Universe) 会 对 
每 年 产生 的 数据 进行 量化 计算 和 预测 ，2014 年 研究 报告 表明 ， 到 2020 年 ， 数 字 宇 宙 将 膨胀 10 倍 一 一 从 4.4 泽 字 节 增长 至 44 泽 字 
节 ， 这 也 意味 着 数据 量 将 每 两 年 翻 一 番 (Turner 等 ，2014) 。 


同样 令 人 震惊 的 ， 还 有 计算 数据 来 源 的 增长 ， 包 括 大 量 零 售 业 数 据 库 机 器 日 志 数据 ， 环 境 中 的 传感器 ( 物 联 网 ) ， 网 络 流 
量 ， 健 康 数据 ，Facebook、Twitter、Instagram 等 社交 媒体 ， 移 动 设备 ， 传 统 媒体 ， 商 业 应 用 ， 科 研 项 目 ， 公 共事 业 设 备 与 智 
能 电网 ， 不 一 而 足 。 


大 数据 有 三 大 广为人知 的 特点 ， 也 称 “3V”: volume (海量 ) 、velocity (迅速 ) 和 variety (多 样 ) 。 海 量 显然 指 企业 、 
组 织 或 研究 项 目 产 生 的 数据 量 庞大 ; 迅速 是 指数 据 产生 之 迅猛 ; 多样 则 指数 据 类 型 多 种 多 样 。 根 据 这 个 3V 特 征 模型 ， 大 数据 管 
理 与 分 析 的 重大 挑战 来 自 于 所 有 三 大 特性 的 延展 ， 而 不 仅仅 是 数量 上 的 增长 (Laney，2001) 。 


面 对 如 此 庞大 的 信息 产生 与 存储 量 ， 我 们 当今 面临 的 巨大 挑战 是 要 严谨 小 心地 利用 数据 ， 帮 助 组 织 或 研究 者 提取 有 价值 的 信 
息 ， 提 高 效率 、 增 加 收益 ， 或 以 其 他 方式 发 现 隐藏 的 趋势 、 重 要 特点 或 内 在 关系 。 若 做 到 这 一 点 ， 就 可 以 辅助 企业 决策 (前 提 是 
企业 了 解 如 何 使 用 得 来 的 数据 ) ， 帮 助 国防 和 情报 机 构 发 现 潜在 威胁 ， 确 定 顾客 最 有 可 能 点 击 哪些 广告 ， 并 为 解决 各 种 科学 和 工 
程 问题 提供 灵感 (Cukier，2010) 。 


大 数据 利用 方面 的 挑战 可 以 分 为 几 个 板块 ， 包 括 整理 (整理 合并 不 同 来 源 的 数据 ， 标 注 、 展 示 并 维护 ) 、 和 存储、 查询 和 共 
享 ， 这 些 都 会 对 有 效 的 数据 分 析 产 生 直接 影响 。 


19.3 结论 


尽管 沉浸 式 虚拟 现实 系统 在 大 数据 分 析 领 域 应 用 的 时 间 极 短 ， 面 临 着 许多 问题 ， 但 同时 也 具有 重大 潜力 。 人 们 希望 以 更 有 效 
的 方式 从 2D 图 表 中 得 出 更 实用 的 数据 ， 却 一 直 遭 遇 各 种 困难 ，VR 新 媒介 其 实 也 一 样 面 临 挑战 ， 即 使 维度 增加 了 ， 交 互 性 也 加 强 
了 。 从 某 种 意义 上 讲 ， 可 以 看 作 是 画家 的 调 色 板 变 大 了 。 具 体 而 言 ， 怎 样 才 是 呈现 数据 (往往 是 抽象 或 者 多 维度 、 多 样 且 海量 的 
数据 ) 的 最 佳 方式 ， 怎 样 才能 加 强人 们 对 数据 的 认识 与 理解 ”事实 上 ， 我 们 很 多 时 候 并 不 清楚 自己 需要 找 些 什么 ， 如 果 目 标清 
晰 ， 甚 至 可 以 将 搜索 自动 化 。 视 觉 呈 现 可 否 拓 展 至 声音 或 触觉 元 素 ? 技术 已 经 有 了 ， 接 下 来 就 应 该 思考 如 何 创造 性 地 运用 技术 
J 





第 20 草 ” 逐 控 机 器 人 与 远程 临场 技术 
虚拟 与 增强 现实 实现 技术 在 遥控 机 器 人 、 远 程 临 场 、 半 自动 和 自动 机 器 人 系统 远程 控制 等 方面 的 前 景 也 十 分 可 观 。 本 章 将 讨 
论 实 现 技 术 在 这 三 个 领域 中 的 应 用 ， 其 中 既 包 括 在 高 端 专业 场景 下 的 应 用 ， 亦 包括 普通 爱好 者 也 能 接触 的 最 新 功能 。 


20.1 遥控 机 器 人 与 远程 临场 的 定义 


遥控 机 器 人 系统 的 作用 是 连接 人 类 与 机 器 人 ， 远 程 复制 操控 者 的 动作 (Ferre，2007) 。 它 是 通用 机 器 人 学 的 一 个 分 支 ， 源 
自 于 在 危险 或 其 他 无 法 到 达 的 环境 下 工作 的 需求 。 这 一 领域 的 现代 基础 可 以 追溯 到 20 世 纪 50 年 代 和 20 世 纪 60 年 代 美国 阿 贡 国家 
实验 室 (Argonne National Laboratory) 及 当时 的 核 废 料 处 理工 作 (Goertz，1964) 。 人 今天， 遥控 机 器 人 技术 有 了 极 大 的 发 
展 ， 涉 及 领域 很 广 ， 包 括 爆 炸 性 军械 处 理 、 遥 控 飞 行 器 控制 、 海 底 探索 ， 等 等 。 


远程 临场 是 指 在 远程 环境 下 ， 通 过 交流 媒体 获取 的 体验 或 临场 感知 (Steuer，1992) 。 虽 然 近年 来 这 一 词汇 使 用 于 各 种 不 
同 的 技术 领域 ， 例 如 视频 会 议 、 视 频 通 话 ， 甚 至 高 清 电 视 ， 但 本 章 中 所 举 的 例子 都 与 立体 可 视 化 技术 有 关 ， 大 部 分 以 头 戴 式 显示 
器 作为 主要 界面 。 


20.2 ”太空 应 用 与 机 器 人 字 航 员 Robonaut 


国际 空间 站 (1SS) 是 在 约 250 英 里 ( 约 40.2 万 米 ) 的 高 空 围绕 地 球 转动 的 极度 复杂 的 微 重力 实验 室 。 空 间 站 长 达 357 英 尺 
( 约 108.8 米 ， 近 平一 个 足球 场 大 小 ) ， 内 部 生活 空间 比 一 间 6 个 卧室 的 住宅 还 要 大 。 由 52 人 台 计 算 机 控制 空间 站 的 基本 功能 。 仪 
在 美国 部 分 ， 就 有 44 台 计算 机 通过 100 个 不 同 的 数据 网 络 交流 150 万 条 软件 代码 ， 不 同 的 站 载 系统 与 地 球 基 站 之 间 更 是 交换 着 巨 
量 信息 。 由 不 到 1 英亩 ( 约 4047 平 方 米 ) 的 太阳 能 板 为 整个 空间 站 提供 75 ~ 90 干 瓦 的 能 量 。 可 以 设想 一 下 维护 这 些 基础 设施 所 
要 花费 的 时 间 和 精力 ， 且 这 还 不 包括 实验 和 工程 系统 的 复杂 收集 工作 。 


早 在 航天 飞机 (Space Shuttle) 项 目 时 期 ，NASA 就 意识 到 有 必要 找到 办 法 来 协助 宇航 员 执 行 对 于 机 组 人 员 来 说 过 于 危 
险 ， 或 者 过 于 枯燥 乏味 、 浪 费时 间 的 项 目 维护 和 实验 等 任务 (NASA，2011) 。1996 年 ，NASA 约 翰 逊 航天 中 心 的 灵巧 机 器 人 实 
验 室 (Dexterous Robotics Laboratory) 开始 与 国防 高 等 研究 计划 署 (DARPA) 合作 ， 开 发 能 够 满足 以 上 需求 的 机 器 人 助手 。 


双方 合作 的 结晶 便 是 NASA 的 Robonaut 机 器 人 宇航 员 ， 一 款 可 以 自主 运行 也 可 与 人 类 协同 完成 上 述 任务 的 人 形 机 器 人 。 


NASA 和 通用 汽车 公司 (General Motors) 合作 开发 的 最 新 款 机 器 人 名 为 Robonaut 2 (R2) 。 如 图 20-1 所 示 ，R2 拟 人 机 器 人 
拥有 脑袋 、 躯 干 、 手 臂 和 灵巧 的 双手 ， 可 以 搬运 并 操控 宇航 员 在 执行 各 种 任务 时 用 到 的 工具 。R2 已 于 2011 年 2 月 搭乘 STS- 
133 (航天 飞机 项 目的 最 后 一 批 飞 行 器 之 一 ) 抵达 国际 空间 站 ， 成 为 太空 中 的 首 个 人 形 机 器 人 。 





图 20-1 Robonaut 2 是 下 一 代 灵 巧 人 形 机 器 人 ， 由 NASA 和 通用 汽车 公司 根据 《太空 行动 协议 》 (Space Act Agreement) 开发 。 宇 


航 员 或 地 面 人 员 可 以 通过 头 戴 式 显示 器 、 背 心 和 专用 手套 控制 该 系统 ， 完 成 国际 空间 站 内 外 的 各 种 任务 





图 片 来 源 : NASA 


R2 机 器 人 高 3 英尺 4 英寸 ( 约 1 米 ) ， 包 含 350 多 个 处 理 器 ， 可 以 每 秒 7 英尺 ( 约 2.1 米 ) 的 速度 移动 。 系 统 的 手指 、 手 臂 和 头 
部 达 42 个 运动 自由 度 。 


R2 有 两 个 基本 运行 模式 : 宇航 员 可 以 向 它 指派 任务 ， 由 它 自主 完成 ， 也 可 以 通过 远程 操作 控制 它 的 系统 。 如 图 20-2 所 示 ， 
在 第 二 种 模式 下 ， 空 间 站 的 宇航 员 或 地 面团 队 成 员 穿 戴 立 体 头 戴 式 显示 器 和 Cyberglove 动 作 捕捉 型 数据 手套 (参见 第 12 章 ) ， 
实现 对 R2 头 部 、 手 臂 和 手 部 运动 的 精准 控制 。 


2014 年 ，R2 收 到 了 它 的 第 一 双 腿 ， 腿 长 9 英尺 〈2.74 米 ) ， 用 于 辅助 系统 在 国际 空间 站 内 移动 及 完成 简单 任务 。 R2 用 夹 钳 
取代 人 类 的 脚掌 ， 方 便 抓 住 物体 并 在 国际 空间 站 内 运作 。 





人 进行 功能 测试 


图 片 来 源 : NASA 





机 器 人 手术 


科研 人 员 也 正在 开发 各 种 技术 和 程序 ， 使 Robonaut 系 统 最 终 能 在 紧急 情况 下 执行 简单 的 手术 和 医疗 操作 。 作 为 该 系统 应 急 
功能 的 示范 ，2015 年 ，Houston Methodist Institute for Technology，lnnovation&Education (MITIE) 的 研究 人 员 利用 R2 
平台 ， 以 远程 操控 的 方式 完成 了 跨越 多 地 的 医疗 手术 任务 。 这 些 任务 包括 插 管 、 协 助 模拟 腹腔 镜 手 术 、 完 成 超声 波 指导 操作 、 执 
行 美 国 骨 肠 内 镜 外 科 医 师 学 会 (Society of American Gastrointestinal and Endoscopic Surgeons，SAGES) 训练 等 (Dean 
和 Diftler，2015) 。 


在 制造 有 用 一 一 尤其 要 能 承担 远程 医疗 任务 一 一 的 机 器 人 助手 的 过 程 中 ， 工 程 师 所 面临 的 挑战 之 一 是 人 类 操作 员 动 作 或 指 
令 与 机 器 人 系统 响应 动作 之 间 的 时 间 差 。 在 实验 环境 或 同城 条 件 下 ， 时 间 差 可 以 忽略 不 计 ， 但 在 地 面 医生 与 轨道 空间 站 之 间 ， 考 
虑 到 信号 传播 路 径 的 不 同 (数据 中 继 卫 星 、 地 面 基站 等 ) ， 可 能 会 产生 数秒 的 时 间 差 。 在 外 太空 旅行 时 ， 这 一 差距 更 是 急剧 扩 
大 。 例 如 ， 火 星 上 的 航天 器 与 地 球 间 交 流 的 往返 时 滞 最 长 可 达 31 分 钟 之 久 ， 有 具体 时 长 取决 于 两 星之 间 的 相对 位 置 
(Dunn，2015) 。 


随 着 R2 技 术 的 逐渐 成 熟 ，NASA 也 在 考虑 将 类 似 的 机 器 人 应 用 到 其 他 太空 项 目 中 ， 包 括 将 它们 送 到 距离 地 球 更 遥远 的 太空 ， 
在 更 严 奇 条 件 下 进行 系统 测试 。NASA 的 终极 设想 是 利用 这 些 系统 为 气象 和 侦察 卫星 服务 ， 最 终 为 人 类 向 遥远 星球 (如 ， 火 星 ) 
的 探索 铺 平 道路 (NASA，2014) 。 


20.3 海底 应 用 


地 球 表面 70% 为 水 所 覆盖 。 与 太空 一 样 ， 海 洋 也 充斥 着 无 数 探索 与 发 现 的 机 会 ， 与 之 并 存 的 则 是 海底 世界 独 有 的 挑战 和 危 
险 。 一 方面 ， 机 器 人 潜艇 、 自 主 式 水 下 航行 器 (AUV) 和 水 下 遥控 操作 装置 (ROV) 都 不 具备 人 类 潜水 者 的 灵巧 性 和 灵活 度 。 
另 一 方面 ， 人 类 需要 承担 巨额 开支 与 风险 ， 才 能 潜 到 一 定 的 海洋 深度 。 为 了 解决 这 些 问 题 ， 打 开 探 索 之 门 ， 研 究 我 们 星球 上 更 为 
辽 闭 的 部 分 ， 斯 坦 福 大 学 的 科研 人 员 开 发 了 一 套 极为 先进 的 遥控 机 器 人 系统 ， 名 为 OceanOne (海洋 一 号 ) ， 如 图 20-3 所 示 。 
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图 20-3 斯坦福 大 学 的 OceanOne 是 高 度 灵巧 型 机 器 人 ， 采 用 人 工 智能 、 和 触觉 反馈 系统 和 立体 视觉 ， 辅 助人 类 操作 人 员 遂 控 完 成 
水 下 作业 和 探索 任务 





图 片 来 源 : Kurt Hickman/Stanford News Service 











OceanOne 系 统 最 初 的 设计 目的 是 研究 红海 的 深海 珊瑚 礁 ， 但 如 今 这 一 高 度 灵 巧 型 系统 高 约 5 英尺 〈1.52 米 ) ， 拥 有 一 对 具 
有 完整 关节 的 手臂 、 一 副 躯 干 ， 头 部 装 有 具 两 个 运动 自由 度 (DOF) 的 立体 视频 摄像 头 。 系 统 尾 段 完美 整合 了 元 余 电 力 设备 、 
机 载 电 脑 、 控 制 器 和 由 8 个 多 方向 推力 器 组 成 的 推进 系统 。 


OceanOne 手 臂 的 末端 执行 器 包含 一 个 传感器 阵列 ， 将 力 反馈 信息 发 回 给 地 面 的 人 类 操作 员 ， 帮 助 他 们 精准 操控 物体 ， 如 
沉船 上 的 手工 艺 品 、 珊 瑚 礁 的 组 成 部 分 、 传 感 器 和 其 他 器 械 。 

该 系统 另外 装备 了 一 系列 传感器 ， 用 于 测量 水 中 条 件 ， 并 能 根据 水 流 和 消 流 自动 调节 以 保持 原 有 位 置 ( 即 “ 位 置 保持 ” 技 
术 ) 。 

OceanOne 系 统 已 在 2016 年 年 初 的 首 航 中 证 明了 它 的 功能 与 实用 性 。 该 系统 由 地 面 人 类 操作 员 控 制 ， 用 于 探索 法 国 国王 路 


易 十 四 的 旗舰 “La Lune”。 这 艘 船 于 1664 年 失事 ， 在 距离 法 国 海岸 以 南 20 英 里 ( 约 32 干 米 ) 处 沉 入 地 中 海 下 约 100 米 。 
OceanOne 在 此 次 潜水 任务 中 ， 成 功 回 收 了 一 只 古董 花瓶 ， 这 件 文物 远离 人 世 已 350 多 年 (Carey，2016) 。 


20.4 ”地 面 与 空中 应 用 


在 许多 地 面 应 用 中 ， 在 远程 任务 地 点 体验 极为 真实 的 临场 感 并 不 需要 数 百 万 美元 的 花费， 也 不 再 需要 使 用 平板 电脑 柱 式 滑轮 
装置 这 样 简陋 而 可 笑 的 模型 。 最 近 ，Oculus、HTC Vive、OSVR 等 平价 宽 视 场 立 体 显示 器 的 出 现 为 各 类 大 小 型 企业 开创 了 许多 
机 遇 ， 它 们 可 以 用 来 提供 实用 性 强 、 成 本 效率 高 的 替代 性 远程 可 视 化 方案 。 


20.4.1 DORA 灵 巧 型 移动 观测 自动 化 系统 


DORA 灵 巧 型 移动 观测 自动 化 系统 正 是 这 样 一 个 沉浸 式 远程 操控 机 器 人 平台 ， 它 由 宾夕法尼亚 大 学 机 器 人 专业 学 生 组 成 的 早 
期 创业 团队 开发 而 成 。 通 过 Oculus 显 示 系 统 中 的 传感器 追踪 操作 人 员 的 头 部 方向 ， 将 数据 无 线 传输 到 机 器 人 微 控 制 器 中 ， 通 过 
执行 器 ， 按 照 用 户 动 作 移动 装 有 立体 摄像 头 的 机 器 人 头 部 。 


DORA 背 后 的 构想 非常 简单 。 如 图 20-4 所 示 ， 用 户 戴 上 头 戴 式 显示 器 ， 由 DORA 平 台 向 显示 器 输送 视频 信号 。 通 过 显示 器 中 
的 传感器 控制 DORA 系 统 按照 用 户头 部 的 动作 运动 。 该 系统 最 卓越 的 特点 之 一 是 原始 开发 价格 不 到 2000 美 元 。 





图 20-4 DORA 授 控 机 器 人 平台 按照 Oculus 显 示 器 ( 即 ， 操 作 人 员 头 部 ) 的 动作 移动 立体 摄像 头 ， 使 用 户 获 得 过 控 任 务 地 点 的 沉 
浸 式 视野 











图 片 来 源 : Daleroy Sibanda/DORA 





按照 团队 的 构 根 ， 该 平台 的 首 批 应 用 市 场 应 该 是 提供 远程 参观 服务 的 博物 馆 ， 或 作为 现场 急 娄 人员、 救灾 工作 者 、 战 斗 工程 
师 的 工具 ， 协 助 这 些 操作 人 员 进入 人 类 来 说 过 于 危险 的 区 域 ， 同 时 提供 可 变化 的 立体 第 一 人 称 视角 ， 这 也 是 目前 此 类 专用 机 器 人 
平台 所 急需 的 功能 。 


20.4.2 Transporter3D 自 助 式 远程 临场 系统 


尽管 平价 宽 视 场 沉浸 式 现实 技术 尚 属 年 轻 ， 市 面 上 已 经 出 现 许 多 可 供 技术 爱好 者 们 迅速 组 装 自己 的 平价 第 一 人 称 视角 立体 远 
程 临 场 系统 的 产品 。 尤 其 值得 注意 的 一 个 产品 是 图 20-5 中 所 示 的 Transporter3D 系 统 ， 由 加 拿 大 安大略 省 滑铁卢 的 EMR 
Laboratories 开 发 完成 。 


Transporter3D 支 持 用 户 使 用 头 戴 式 显示 器 ， 通 过 专 为 Oculus Rift 和 其 他 高 清 头 戴 式 显示 器 设计 的 高 清 多 媒体 接口 
(HDM1) 将 远程 传输 的 立体 3D 视 频 转化 为 实时 输出 (参见 第 6 章 ) 。 


员 所 视频 | | 模拟 视频 





图 20-5 Transporter3DD 系 统 可 以 通过 HDMI 将 远程 传输 的 立体 3D 视 频 转化 为 实时 输出 ， 供 立体 头 戴 式 显示 器 佩戴 者 观看 。 该 系统 
专 为 相关 爱好 者 和 无 线 电 透 控 飞机 迷 设 计 


图 片 来 源 : EMR Laboratories, Inc 





该 系统 的 3D-CAM 第 一 人 称 视 角 摄像 头 同 时 具有 串 行 3D (利用 单个 视频 发 射 器 设置 场 序 制 3D 视 频 ) 和 并 行 3D ( 双 频 输 
出 ) 功能 ， 可 以 在 2D 或 3D 模 式 下 工作 ， 并 且 可 以 远程 调节 曝光 度 、 锁 定 白 平衡 ， 在 照明 条 件 不 利 的 情况 下 保留 逼真 的 地 面 和 天 
空 色彩 。 摄 像 镜头 的 安装 位 置 符合 人 类 双眼 间 的 平均 距离 ， 能 够 校正 视差 ， 便 于 观看 。Oculus 显 示 器 上 的 图 像 |PD 也 可 轻松 调节 
校准 收敛 精度 。 用 户 可 以 自行 调节 屏幕 画面 的 横向 和 纵向 校准 ， 也 可 以 调整 显示 画面 的 纵横 比 。 


该 系统 有 一 项 十 分 独特 的 功能 ， 就 是 可 以 在 3 轴 平 移 /倾斜 /摇摆 底座 (例如 图 20-5 中 所 示 的 FatShark 常 平 架 ) 上 安装 3D- 
CAM 第 一 人 称 视 角 摄像 头 。 通 过 这 种 配置 ， 该 系统 可 以 使 用 Oculus 具 有 惯性 测量 单元 的 内 置 头 部 追踪 器 ， 根 据 操作 人 员 头 部 平 
移 、 倾 鲜 和 摇摆 的 动作 来 移动 摄像 头 ， 而 不 受 任何 其 他 控制 。 因 此 ， 如 果 安 装 在 遥控 飞机 或 直升机 上 ， 操 作 人 员 可 以 转动 头 部 看 
向 任何 方向 ， 而 不 会 对 飞行 造成 影响 。 


第 四 部 分 “人体 、 法 律 和 社会 因素 





第 21 章 ”人 体 因 素 考 量 
第 22 章 ”法 律 与 社会 问题 
第 23 章 ”未 来 


























21.1 什么 是 人 体 因 素 


人 体 因 素 是 一 个 跨 学 科 课 题 ， 既 涉及 信息 的 应 用 ， 又 探讨 人 类 在 设备 与 系统 设计 评估 过 程 中 的 行为 、 能 力 和 局 限 等 身心 特点 
(Chapanis，2016) 。 在 虚拟 与 增强 现实 领域 ， 人 体 因素 研究 涵盖 四 大 主要 话题 : 人 工控 制 器 、 触 觉 与 力 反馈 设备 、 空 间 声 音 
解决 方案 以 及 视觉 显示 。 每 个 大 的 方面 本 身 也 是 一 个 专业 领域 ， 但 迄今 为 止 ， 大 部 分 人 体 因 素 研究 集中 在 与 视觉 显示 和 内 容 相关 
的 问题 上 。 这 样 的 趋势 很 合理 。 通 过 本 书 我 们 了 解 到 ， 人 类 视觉 体系 向 我 们 传达 的 周围 环境 的 信息 远大 于 另外 四 种 感官 中 的 任何 
一 种 。 有 研究 估计 ， 人 类 有 80% ~ 85% 的 知觉 、 学 习 、 认 知 和 活动 都 以 视觉 为 媒介 (Politzer，2015) 。 


从 工程 师 的 角度 来 看 ， 人 类 的 眼睛 是 精密 的 光学 仪器 、 传 感 器 和 换 能 器 。 其 设计 精妙 ， 能 以 精细 的 方式 采集 光子 ， 把 光束 集 
中 在 视网膜 上 ， 再 通过 复杂 的 神经 化 学 过 程 转 化 为 电 脉冲 ， 包 含有 关 刺 激 物 大 小 、 色 彩 和 运动 的 信息 编码 。 这 一 系统 始终 维持 着 
微妙 的 平衡 ， 是 与 各 种 其 他 感官 机 制 紧 密 配 合 与 校准 所 得 的 产物 。 经 转化 的 刺激 物 又 从 整体 上 为 大 脑 所 用 ， 将 有 关 周 围 环 境 
无 论 现实 还 是 虚拟 一 一 的 信息 传达 到 | 意识 知觉 当中 。 与 任何 精密 机 械 一 样 ， 如 果 这 一 系统 的 功能 或 输入 被 修改 ， 甚 至 只 是 
出 现 一 丝 偏 差 ， 问 题 就 会 随 之 而 来 。 





由 于 人 类 视觉 系统 极度 复杂 ， 而 视觉 显示 在 整个 虚拟 与 增强 现实 领域 处 于 核心 地 位 ， 本 章 将 主要 讨论 这 些 功 能 过 程 所 产生 的 


复杂 问题 。 


21.2 身体 副作用 


谈 到 虚拟 与 增强 现实 以 及 立体 头 戴 式 显示 器 的 使 用 ， 有 关 用 户 健康 与 福 社 的 问题 一 直 是 重 中 之 重 ， 随 着 大 量 针对 巨大 消费 者 
市 场 的 头 戴 式 显示 设备 的 出 现 ， 这 一 问题 受到 的 关注 也 越 来 越 多 。 在 接受 这 些 系统 的 过 程 中 ， 最 令 大 众 困 扰 的 不 确定 性 之 一 ， 就 
是 它们 可 能 引发 恶心 、 眼 疲劳 、 霄 失 方向 感 及 其 他 不 适 。 事 实 上 ， 部 分 研究 表示 ， 使 用 过 立体 头 戴 式 显示 器 的 个 人 中 ， 有 809% ~ 
95% 的 人 经 历 过 多 种 上 述 症状 ， 其 中 59 ~ 50% 因 症状 过 于 严重 而 中 止 了 使 用 (Ling 等 ，2013) 。 从 下 文 我 们 将 看 到 ， 这 一 问题 
是 由 人 类 感知 系统 的 精度 与 平衡 、 头 戴 式 显示 器 功能 特性 上 的 缺陷 及 其 他 技术 因素 等 共同 造成 的 ， 甚 至 包括 用 户 的 年 龄 、 性 别 乃 
至 种 族 。 


21.2.1 ”虚拟 世界 与 现实 世界 的 对 比 


首先 ， 我 们 来 看 看 正常 视觉 观察 和 通过 现代 化 平板 头 戴 式 显示 器 观察 的 区 别 。 自 然 情形 下 ， 光 线 进入 眼睛 是 不 同 物体 和 表面 
反射 的 结果 。 光 的 调节 与 眼球 会 聚 同时 进行 ， 光 图 像 最 终 落 在 具有 视差 补偿 、 阴 影 、 各 种 单 双 视 深 的 视网膜 上 。 观 察 者 移动 时 ， 
其 头 部 和 眼睛 会 自动 浏览 环境 中 的 固定 位 置 。 


使 用 立体 平板 头 戴 式 显 示 器 时 ， 情 况 变 了 。 进 入 眼底 的 光线 不 再 是 各 个 角度 自然 反射 的 结果 ， 而 是 2D 平 面 ( 即 ，LCD 或 
OLED 面板 表面 ) 模拟 视差 补偿 和 深度 感觉 后 投射 而 来 ， 没 有 了 自然 的 视角 、 阴 影 和 视野 的 无 限 深度 。 然 后 ， 这 些 投影 穿 过 各 种 
光学 系统 (包括 眼睛 ) ， 让 你 聚焦 在 显示 器 表面 。 在 这 个 过 程 中 ， 最 终 抵 达 视网膜 的 光 场 出 现 了 扭曲 和 色差 。 由 于 显示 器 的 质量 
和 精度 、 驱 动 模拟 的 计算 机 性 能 、 位 置 和 方向 传感器 的 更 新 速度 、 模 拟 设计 的 精细 程度 等 有 着 干 差 万 别 ， 由 此 将 产生 各 种 各 样 的 


知觉 问题 。 
21.2.2 ”视觉 诱 友 的 野 动 症 


完全 沉浸 式 虚拟 现实 系统 用 户 抱怨 最 多 的 问题 包括 早上 肪 和 恶心， 这 个 现象 有 多 种 名 称 ， 比 如 模拟 器 综合 征 、 计 算 机 综合 征 、 
三 原色 疲劳 症 (RGB yawn) 、 视 觉 诱 发 曙 动 症 (VIMS) 。 频 发 症状 包括 恶心 、 唾 液 分 泌 过 多 、 困 倦 、 霄 失 方向 感 、 田 眩 、 头 
痛 、 集 中 注意 力 困 难 、 视 线 模糊 及 偶发 呕吐 。 症 状 发 作 可 能 只 需 几 分 钟 ， 并 且 可 能 在 沉浸 式 体验 结束 后 仍然 持续 
(Biocca, 1992; Ebenholtz，1992; Pausch 等 ，1992; Cobb 等 ，1999) 。 


尽管 普通 晕 动 症 和 VIMS 有 许多 相似 症状 ， 但 必须 强调 ， 普 通 景 动 症 是 由 相对 运动 缺失 引起 的 ， 是 在 未 发 生物 理 运 动 的 情况 
下 产生 的 自动 视 党 错 党 造成 的 (Fischer 与 Kornmuller，1930; Dichgans 与 Brandt，1973) 。 表 21-1 是 普通 早 动 症 和 VIMS 的 
症状 学 对 比 。 


表 21-1 普通 尝 动 症 与 VIMS 的 症状 学 对 比 
旱 动 症 模拟 鲜 综 合 征 / 视觉 诱 发 雷动 症 
证 心 普 心 
面色 从 日 骨 部 不 适 导 致 唾液 分 泌 过 多 
唾液 分 泌 过 多 多 汗 


冷 河 失 箱 
反胃 /呕吐 脸色 从 日 
军 及 情感 淡 沉 


头痛 困倦 
丧失 方 问 感 
党 上 胶 

m 头痛 
集中 注意 力 困 难 
视线 模糊 
反胃 / 呕吐 


1.VIMS 中 的 生理 因素 


当前 关于 这 些 生 理 反 应 最 广 为 接 受 的 理论 建立 在 感觉 冲突 论 的 基础 上 ， 已 经 历 了 40 多 年 的 探讨 和 检验 。 该 理论 于 1975 年 被 
首次 提出 (Reason 与 Brand，1975) ， 主 要 针对 飞行 模拟 器 ， 理 论 认为 这 些 生理 副作用 产生 的 原因 是 视觉 运动 感 过 于 强烈 ,而 
没有 相应 的 前 庭 或 本 体感 觉 (Stanney 与 Kennedy，2009; Groen 与 Bos，2008; Nichols 与 Patel，2002; Reason 与 
Brand，1975) 。 解 释 得 清楚 一 点 ， 视 觉 系统 提供 的 是 身体 方向 的 信息 ， 与 视觉 世界 有 关 ; 前 庭 系统 提供 的 是 线性 加 速度 、 角 
加 速度 与 位 置 的 信息 ， 与 重力 有 关 ; 而 动 觉 或 本 体感 觉 系统 提供 的 是 四 肘 和 身体 位 置 的 信息 (Barratt 与 Pool，2008) 。 


图 21-1 完 美 地 体现 了 产生 这 类 冲突 的 应 用 场景 。 在 驾驶 模拟 过 程 中 ， 用 户 感受 到 非常 强烈 的 自动 视觉 感知 ， 但 除了 握 着 方 
向 盘 的 双手 外 ， 其 他 感官 都 没有 同时 获得 实际 的 驾驶 体验 。 知 觉 冲突 论 还 认为 ， 当 其 他 感官 感觉 与 基于 此 前 个 人 经 验 所 预期 的 知 
党 相 冲 突 时 ， 也 会 出 现 这 种 反应 。 在 所 有 情况 下 ， 都 必须 把 前 庭 感 觉 包含 在 理论 中 ， 因 为 前 庭 系 统 受 损 的 人 不 会 感受 到 这 些 副 作 
用 。 





图 21-1 本 图 说 明 ， 感 官 输入 冲突 可 能 最 终 造成 恶心 、 不 适 。 图 中 用 户 在 体验 强烈 的 视觉 动 觉 的 同时 ， 并 未 感知 到 任何 常见 的 前 
庭 或 本 体感 觉 





到 片 来 源 : Nan Palmero 和 SuperCar-RoadTrip.fr 的 Flickr 相 册 ， 获 CC 2.0 许 可 











多 年 来 ,不 断 有 人 提出 其 他 理论 对 VIMS 加 以 解释 。 其 中 一 项 “生态 学 理论 ”认为 ， 这 些 副 作用 是 由 长 期 不 稳定 的 姿势 控制 
导致 的 (Riccio 与 Stoffregen，1991; Bonnet 等 ，2008) 。 鉴 于 感官 冲突 理论 仍然 在 科研 文献 和 整个 话题 语 域内 占据 主导 地 
位 ， 本 章 余 下 部 分 将 假设 这 一 理论 是 正确 的 。 但 是 ， 读 者 必须 清醒 地 认识 到 ， 科 研 人 员 并 没有 对 这 一 话题 (以 及 理论 一 词 的 使 
用 ) 达成 透彻 的 共识 ， 研 究 仍 在 进行 当中 。 


(1) 延 时 


所 有 沉浸 式 虚拟 与 增强 现实 系统 的 一 项 关键 性 能 和 适用 性 标准 是 用 户 动作 与 系统 响应 间 的 延 时 长 短 ， 或 称 时 间 差 


(Papadakis 等 ，2011) 。 延 时 是 由 信号 的 处 理 、 传 输 和 关键 系统 元 件 的 同步 延迟 造成 的 ， 是 产生 不 良 影响 的 主要 因素 ， 它 
降低 临场 感 、 用 户 的 沉浸 感 、 身 体 表 现 和 舒适 程度 (Meehan 等 ，2003; Friston 与 Steed，2014) 。 在 本 章 中 尤其 要 注意 ， 延 
时 可 能 造成 用 户 的 本 体感 觉 与 显示 器 所 展示 的 视觉 刺激 之 间 脱 节 ， 造 成 VIMS 多 发 症状 (Buker 等 ，2012) 。 


图 21-2 说 明了 系统 设计 者 在 延 时 问题 方面 面临 的 核心 困难 点 。 用 户 佩戴 头 戴 式 显示 器 时 ， 传 感 器 必须 不 断 重新 计算 用 户头 
部 的 位 置 和 方向 ， 捕 捉 头 部 运动 。 然 后 将 这 些 位 置 变 化 传送 至 核心 应 用 程序 ， 分 别 计算 生成 左 、 右 眼看 到 的 景象 。 这 时 ， 图 形 引 


擎 才能 输送 正确 的 画面 ， 将 其 输出 到 头 戴 式 显 示 器 的 显示 部 件 中 。 这 些 处 理 步 骤 所 花费 的 时 间 总 和 即 是 基本 总 延 时 时 长 ， 而 根据 
使 用 的 具体 位 置 传感器 (惯性 、 光 学 及 其 他 传感器 ) 、CPU 功 能 、 显 示 器 类 型 (LCD、OLED、LCOS 等 ) 及 画面 复杂 度 的 不 
同 ， 基 本 总 延 时 的 长 短 也 不 同 。 








图 21-2 ”本 图 解释 了 提供 沉浸 式 显示 体验 所 面临 的 核心 延 时 间 题 








图 片 来 源 : anqrewrybalko 在 123RE.com 的 照片 ， 头 部 示意 图 











显然 ， 硬 件 设 计 者 与 制造 商 的 目标 是 生产 出 零 延 时 的 系统 (如 人 有 眼 一 般 ) ， 但 这 并 不 现实 ， 因 为 处 理 模块 的 每 个 步骤 都 需要 
一 定时 间 才 能 完成 。 简 而 言 之 ， 零 延 时 是 不 可 能 实现 的 ， 但 近期 上 市 的 商用 虚拟 现实 系统 仍然 提供 了 较 好 的 基本 性 能 ， 详 细 规 格 
已 归纳 于 表 21-2 中 。 


表 21-2 HTC Vive VR、Oculus Rift 和 索尼 PlayStation VR 系 统 参 数 对 比 中 


HTC Vive VR Oculus Rift PlayStation VR 
显示 名 类 型 AMOLED AMOLED AMOLED 


ES 1080 x 1200 (双眼 2160 x 1080 x 1200 (双眼 2160x 
分 辨 率 1200 ) jy B 960 x 1080 (单眼 1920 x 1080 ) 


最 大 刷新 频率 90Hz、120Hz 
传感器 加 速 计 、 陀 螺 仪 、 加 速 计 、 陀 螺 仪 、 磁 力 加 速 计 、 陀 螺 仪 、 磁 力 计 、PS 腿 部 追 
ee 摄像 头 、 激 光 传感器 计 、 和 追踪 阵列 踪 
三 合 一 接头 ， 可 VR 眼镜: HDMI、Aux 、 立 体 耳 机 接口 
连接 HDMI / 显示 端口 接线 盒 .| HDMI、USB 处 理 器 单元 : HDMI TV、HDMI PS4、 
USB 及 电源 USB., HDMI、 Aux 


基本 延迟 二 18 毫秒 二 18 毫秒 

















Q@ 输 入 /传感器 一 般 通 过 其 他 线路 运行 ， 不 受 帧 速率 限制 。 它 们 快速 独立 运行 ， 在 恰当 时 间 点 汇 入 管线 。 这 样 可 以 缩短 延 时 ， 有 了 时 也 可 通过 其 
他 应 用 (或 计算 机 )〉 进行 输 入 运算 。 






































(2) 瞳 距 设置 错误 


两 眼 瞳 孔 中 心 位 置 间 的 距离 称 为 “瞳孔 间距 ” ( 瞳 距 ,IPD) ， 不 同 个 体 、 不 同性 别 甚 至 种 族 的 瞳 距 都 有 差异 。 从 一 般 的 眼 
镜 到 立体 头 戴 式 显示 器 ， 这 项 指标 对 于 所 有 双眼 观察 系统 都 极为 重要 。 


佩戴 普通 眼镜 上 时， 如果 瞳 距 测 量 错 误 ， 两 个 镜片 的 主轴 就 无 法 对 齐 双 眼中 央 ， 导 致 眼 部 疲劳 和 头痛 。 使 用 运动 望远镜 或 立体 
显微镜 时 ， 由 于 可 观测 的 出 射 光 瞳 较 小 ， 不 调整 设备 则 很 难 使 用 甚至 无 法 使 用 。 


对 于 立体 头 戴 式 显示 器 而 言 ， 基 于 各 种 原因 ， 适 当 的 瞳 距 设置 极为 重要 。 如 图 21-3 所 示 ， 眼 睛 与 镜片 未 能 对 准 可 能 造成 图 
像 失真 ， 由 此 引发 眼 部 疲劳 和 头痛 ， 并 可 能 诱 友 VIMS (Ames 等 ，2005) 。 错 误 的 设置 还 可 能 影响 眼球 会 聚 ， 以 及 对 所 显示 图 
像 产生 错误 感知 。 例 如 ， 双 了 眼看 到 的 输入 间距 大 于 正常 水 平时 ， 对 所 观察 物体 的 会 聚 角 增 大 ， 可 能 缩短 所 观察 到 的 物体 的 距离 ， 
使 之 看 起 来 比 实际 要 近 (Priot 等 ，2006) 。 





图 21-3 ”本 图 是 眼睛 与 镜片 未 对 齐 可 能 导致 的 图 像 失 真 示 例 











图 片 来 源 : S.Aukstakalnis 摄 影 





成 人 的 平均 瞳 距 在 63 毫 米 左右 ， 大 部 分 成 人 的 瞳 距 在 50 ~ 75 毫 米 之 间 ， 也 有 部 分 处 于 45 ~ 80 毫 米 范围 内 。 儿 童 (5 岁 以 
上 ) 的 最 小 瞳 距 是 40 毫 米 左 右 (Dodgson，2004) 。 


本 书写 作 时 市 面 上 主要 的 三 款 平价 头 戴 式 显示 器 中 ， 有 两 款 (HTC Vive 和 Oculus Rift) 带 有 可 以 调整 瞳 距 的 机 械 设置 ， 把 
每 只 眼睛 的 镜片 和 屏幕 作为 组 件 同时 移动 。 由 此 保证 镜片 和 屏幕 完美 对 齐 ， 并 可 以 横向 调整 。 索尼 PlayStation VR 系统 内 部 的 镜 
片 位 置 固定 ， 但 可 以 通过 软件 调整 瞳 距 设置 (移动 眼睛 在 显示 器 上 看 到 的 位 置 ) 。 


(3) 显示 视 场 


第 3 章 中 讲 到 ， 人 类 视觉 系统 的 总 视 场 约 为 横向 200"、 纵 向 130" ， 双 眼中 心 重 赦 约 120” (Velger，1998，p.50) 。 一 般 认 
为 ， 头 戴 式 显示 器 的 视 场 越 宽 越 好 ， 可 以 更 好 地 模拟 自然 观察 情形 ， 提 升 用 户 在 模拟 模型 内 的 沉浸 感 与 临场 感 
(Primeau，2000; Rogers 等 ，2003) 。 


尽管 如 此 ， 必 须 说明 的 是 ， 有 部 分 研究 表示 过 宽 的 视 场 也 有 可 能 导致 VIM3 或 增加 发 生 VIMS 的 可 能 性 。 基 本 前 提 是 宽 视 场 
显示 屏 与 视 场 有 限 的 产品 相 比 ， 产 生 的 自动 感知 更 强 (Pausch 等 ，1992) 。 而 且 ， 由 于 闪烁 是 最 容易 被 视 场 边缘 捕捉 到 的 现 
象 ， 因 此 刷新 率 和 亮度 也 应 纳入 考虑 学 围 (Kolasinski，1995) 。 


几何 视 场 (GFOV) 界定 了 图 形 引 警 生 成 的 透视 投影 画面 的 纵横 边界 ， 显 示 视 场 (DFOV) 与 几何 视 场 的 不 一 致 也 是 导 
VIMS 现 象 的 另 一 潜在 因素 (Draper 等 ，2001) 。 


(4) 画面 几何 结构 的 光学 变形 


研究 表明 ， 立 体 显示 器 的 光学 成 像 引 发 的 几何 变形 会 随 着 观察 者 眼 部 的 位 置 移动 而 剧烈 变化 。 光 学 变形 的 基本 原理 已 为 人 们 
所 熟知 ， 一 般 可 以 通过 图 像 的 预 矫正 进行 补偿 。 但 这 类 技术 往往 不 考虑 眼 部 与 镜片 相对 位 置 的 变化 ， 以 及 眼球 转动 离开 中 心 轴 的 
情形 。 结 果 是 出 现 辐 转 信 息 错 误 ， 导 致 深度 判断 不 准确 ， 用 户 眼睛 扫描 画面 时 发 生 几何 结构 移 位 (Jones 等 ，2014) 。 


(5) 帧 速率 


帧 速率 也 称 刷 新 率 ， 是 帧 缓冲 内 容 显示 在 屏幕 上 的 速度 。 帧 速率 与 闪烁 直接 相关 ， 慢 速 闪烁 会 诱发 恶心 症状 。30 赫 效 以 上 
的 闪烁 最 容易 被 视 场 边 缘 发 现 ， 中 央 思 视觉 区 域 (或 中 心 视 党 区域) 捕捉 到 的 闪烁 更 少 (Pausch 等 ，1992) ， 这 是 视 场 显 示 器 
过 宽 导 致 问题 的 原因 之 一 。 


(6) 持久 度 


指 每 个 像素 在 显示 屏 中 保持 亮度 的 时 间 。 持 续 时 间 过 长 的 后 果 之 一 是 图 像 模糊 不 清 ， 不 仪 会 降低 画 质 ， 还 会 诱发 更 多 恶心 和 
其 他 不 适 。 高 持久 度 是 许多 LCD 头 戴 式 显示 器 的 共性 问题 ， 但 换 成 OLED/AMOLED 平 板 阵列 后 ， 像 素 切换 速度 提高 可 以 缓解 这 


一 问题 。 


3.VIMS 易 感性 


人 们 容易 患 普通 晕 动 症 和 VIMS， 根 据 已 发 表 的 研究 ， 具 体 原 因 来 自 各 个 方面 ， 根 据 人 的 年 龄 、 种 族 、 性 别 和 整体 健康 状况 
不 同 而 异 。 例 如 ， 这 类 反应 在 2 ~ 12 岁 儿童 身上 最 为 强烈 (Stanney 等 ，2002) ， 到 21 岁 期 间 慢 慢 缓解 (Reason 与 
Brand，1975) ， 而 在 50 岁 以 后 又 会 加 剧 (Brooks 等 ，2010) 。 亚 洲 后 高 比 非 亚 高 更 容易 患 病 (Barrett，2004) 。 华 高 女性 
对 VIMS 极 为 敏感 (Stern 等 ，1993) ， 而 女性 在 总 体 上 会 比 男性 敏感 得 多 (Kennedy 与 Frank，1985; Park 等 ，2006; 
Kennedy 等 ，1989; Boyd，2001) 。 


4. 适 应 性 


人 类 知觉 系统 迷人 的 地 方 之 一 就 在 于 ， 许 多 人 在 反复 暴露 之 后 会 适应 知觉 冲突 ， 不 仅仅 指 暴露 于 导致 知觉 冲突 的 具体 刺激 
物 ， 更 包括 持续 面 对 变 形 的 镜片 (Reason 与 Brand，1975) 。 与 此 相反 ， 也 有 研究 表明 ， 适 应 沉浸 式 虚拟 环境 、 恶 心 症状 减轻 
会 导致 后 遗 效应 增多 ， 包 括 失衡 状况 (Stanney 与 Salvendy，1998; Kennedy 等 ，1997) 。 


21.3 ” 视 竞 副作用 


越 来 越 多 人 开始 担心 ， 使 用 平板 头 戴 式 显示 器 (尤其 是 立体 系统 ) 与 人 类 正常 的 知觉 输入 存在 冲突 ， 可 能 会 对 视觉 系统 产生 
潜在 危害 。 本 节 将 讨论 几 个 比较 重要 的 冲突 
21.3.1 辐 转 -调节 冲突 


使 用 立体 3D 显 示 器 ， 尤 其 是 平板 立体 头 戴 式 显示 器 时 ， 眼 球 辐 连 转动 与 调节 功能 相 冲 突 (或 称 辐 转 -调节 失调 ) 
的 引起 眼 部 不 适 的 最 主要 原因 之 一 。 如 图 21-4 所 示 ， 辐 连 转 动 是 眼球 的 一 项 无 意识 功 


， 这 是 已 知 
9 一 项 无 意识 功能 ， 当 焦点 在 视觉 
间 切 换 时 ， 双 有 眼 会 围绕 眼 纵 轴 做 相反 方向 的 运动 ， 以 使 双眼 注视 同一 位 置 〈( 双 中 央 凹 固定 ) 


场景 中 不 同 距离 的 物体 
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图 21-4 本 图 为 佩戴 平板 立体 头 戴 显 示 器 时 的 辐 转 -调节 冲突 
图 





片 来 源 : S.Aukstakalnis 


注视 显示 器 表面 时 ， 双 眼 会 聚 于 物体 上 的 景 


完全 不 同 
调节 与 辐 转 紧密 相连 ， 调 节 指 的 是 眼 部 晶状体 焦 度 (或 焦点 ) 随 着 注意 力 在 物体 间 的 切换 而 变化 。 如 图 21-5 所 示 ， 注 意 近 
处 物体 时 ， 需 要 会 聚 双眼 、 焦 距 较 短 。 相 反 ， 看 远 处 物体 时 眼球 辐 圈 ， 焦 距 较 长 。 目 前 认为 ， 视 网 膜 模糊 
整 ， 从 而 将 射 到 视网膜 的 光线 聚集 起 来 (Kramida，2015) 


能 激发 晶状体 调节 或 调 
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晶状体 





一 中央 上 








图 21-5 本 图 表示 的 是 人 关注 不 同 景深 处 物体 时 晶状体 的 焦 度 变化 








图 片 来 源 : S.Aukstakalnis 








一 般 情况 下 ， 辐 连 和 调节 是 紧密 相关 的 眼 部 功能 ， 二 者 通过 神经 相连 ， 存 在 反射 关系 ( 辐 转 会 刺激 眼 部 调节 ， 反 之 亦 然 ) 
(Banks 等 ，2013) 。 


然而 ， 使 用 大 部 分 完全 沉浸 式 立 体 显示 器 时 ， 为 使 投射 到 视网膜 的 图 像 清晰 ， 双 了 眼 注视 的 距离 是 固定 的 ( 即 固定 在 HDMI 的 
平板 显示 器 部 件 表面 ) 。 而 随 着 显示 器 上 图 像 模 拟 深 度 的 变化 ， 双 了 眼 却 在 不 断 地 做 会 聚 或 辐 连 运动 。 


目前 已 知 这 种 失调 会 造成 眼 部 肌肉 疲劳 ， 是 产生 视觉 诱导 日 动 症 的 部 分 原因 。 此 外 ， 辐 恩 - 调 节 冲突 还 可 能 导致 各 种 知觉 错 
误 。 例 如 ， 画 面 上 没有 单眼 感觉 时 ， 眼 部 调节 与 虚拟 物体 距离 感 失 调 可 能 是 导致 大 小 恒 常 性 不 定 的 重要 因素 (Roland，Gibson 
和 Ariely，1998; Wann 等 ，1995; Peli，1995) 。 


辐 转 - 调 节 冲突 并 不 局 限于 立体 头 戴 式 显示 器 ， 大 型 显示 墙 和 计算 机 辅助 虚拟 环境 具备 类 似 的 显示 原理 ， 也 可 能 会 导致 这 种 


冲突 (Wann 与 Mon-Williams，1997) 。 


21.3.2 ”潜在 影响 


写作 本 书 时 ,市场 上 的 头 戴 式 显示 器 尚 不 足以 让 我 们 了 解 辐 转 - 调 节 冲 突 带 来 的 所 有 影响 ， 尤 其 是 大 量 使 用 的 后 果 。 举 例 来 
说 ,连续 使 用 数 小 时 后 是 否 有 可 能 出 现 视 功能 异常 ? 如 果 是 ， 是 否 会 对 安全 各 驶 等 能 力 造成 影响 ?反复 大 量 使 用 又 会 产生 怎样 的 
长 期 影响 ? 


第 22 草 “法律 与 社会 问题 


虚拟 与 增强 现实 技术 从 科研 实验 室 中 的 专用 系统 和 高 端 国防 应 用 逐渐 过 渡 到 大 众 消费 市 场 中 ， 也 因此 引发 了 突出 的 法 律 、 社 
会 和 道德 问题 。 从 产品 安全 问题 ， 到 第 一 人 称 游 戏 中 暴力 和 现实 因素 的 增加 ， 这 些 技术 由 更 多 的 人 使 用 ， 必 然 会 造成 剧烈 的 影 
响 。 本 章 将 讨论 这 方面 的 问题 ， 重 点 讲述 人 们 天 注 的 问题 领域 ， 以 及 在 虚拟 与 增强 现实 技术 广泛 应 用 过 程 中 日 益 凹 显 的 挑战 。 


22.2 ”道德 和 伦理 问题 


不 仅仅 是 增强 现实 技术 ， 沉 浸 式 虚拟 现实 系统 流入 更 广阔 的 消费 品 市 场 ， 已 经 引发 了 一 系列 道德 和 伦理 问题 ， 下 文 讨论 二 
例 。 


22.2.1 暴力 型 第 一 人 称 游戏 


商用 沉浸 式 虚拟 现实 系统 最 让 人 担忧 的 问题 之 一 ， 是 用 于 暴力 型 第 一 人 称 游 戏 后 ， 对 学 龄 儿童 (6 ~ 12 岁 ) 和 青少年 (13 ~ 
17 岁 ) 的 影响 ， 以 及 引发 攻击 行为 的 可 能 性 。 


多 年 来 ， 已 发 表 的 研究 从 多 个 角度 探讨 了 暴力 第 一 人 称 电 子 游戏 与 攻击 行为 增多 之 间 的 联系 (Anderson 与 
Bushman，2001; Bushman 与 Anderson，2002; Kirsh，2003; Funk 等 ，2003; Anderson，2004; Anderson 
等 ，2007，2008; Konijn 等 ，2007; Mo6ller 与 Krahé，2009; Neetu 与 Shalini，2016; Milani 等 ，2015) 。 近 期 研究 则 更 进 
一 步 展 示 出 强 有 力 的 证 据 ， 证 明 使 用 枪 型 游戏 控制 器 正面 影响 (或 提升 ) 了 攻击 性 认 知 (McGloin 等 ，2015) 。 


另外 ， 美 国 心理 学 会 (American Psychological Association，APA) 暴力 媒体 特别 工作 组 2015 年 8 月 的 一 份 详细 报告 清楚 
地 提 到 ，“ 研 究 表 明 ， 使 用 暴力 电子 游戏 与 攻击 行为 、 攻 击 性 认 知 和 攻击 性 情绪 增多 ， 杀 社会 行为 和 同 理 心 减少 ， 以 及 对 暴力 的 
敏感 度 降低 之 间 人 存在 一 致 性 关系 ” (Appelbaum 等 ，2015) 。 虽 然 报告 谨慎 指出 ，“ 没 有 充分 研究 能 证 明 暴 力 电子 游戏 与 暴力 
犯罪 之 间 存 在 联系 ”， 但 并 不 意味 着 这 样 的 联系 并 不 人 存在， 仅仅 是 “没有 充分 研究 能 证 明 ” 。 


一 如 人们 的 合理 预期 ， 研 究 者 对 这 些 发 现 展开 了 争论 (Ferguson，2013; Ferguson 与 Dyck，2012; Salonius-Pasternak 
与 Gelfond，2005; Grimes 等 ，2008; Ferguson 等 ，2008; Kutner 与 Oslen，2008) 。 在 两 个 阵营 之 间 ， 游 戏 产 业 利益 相关 
方 和 许多 心理 健康 专业 人 士 、 心 理学 会 及 父母 儿童 保护 组 织 之 间 也 在 隐隐 角力 ， 不 时 伴随 着 怒火 的 喷发 。 


毕竟 计算 机 和 基于 控制 台 的 娱乐 市 场 利润 丰厚 ， 可 以 预见 ， 在 沉浸 式 虚 拟 现实 显示 器 激发 者 游戏 兼容 端口 、 新 游戏 专项 开发 
的 趋势 下 ， 暴 力 型 第 一 人 称 游戏 必然 大 肆 盛 行 。 


22.2.2 自由 言论 问题 


2005 年 ， 加 利 福 尼 亚 州 议 会 通过 了 一 项 议案 (AB 1179) ， 蓉 止 向 18 岁 以 下 人 士 出 售 暴力 电子 游戏 。 该 议案 签署 成 为 法 律 
后 ， 多 家 创作 、 发 行 、 分 销 、 出 售 或 租赁 电子 游戏 的 企业 协会 提起 诉讼 ， 要 求 根据 美国 《 完 法 》 第 一 及 第 十 四 修正 案 使 该 项 新 法 
作废 。 


法 院 判 决 支持 原告 ， 阻 止 了 该 项 法 律 的 实施 。 之 后 ， 美 国联 邦 第 九 巡 回 上 诉 法 院 (U.S.Court of Appeals for the Ninth 
Circuit) 认为 暴力 电子 游戏 不 构成 第 一 修正 案 项 下 的 “淫秽 ”内 容 ， 加 州 在 阻止 其 所 宣称 的 电子 游戏 对 未 成 年 人 心理 或 神经 学 
危害 方面 ， 也 不 存在 重大 利益 。 


2010 年 ， 布 朗 诉 娱乐 商业 协会 案 (564 U.S.08-1448) 在 美国 最 高 法 院 进行 论辩 ， 重 点 关注 一 个 简单 的 问题 : 

















各 州 限制 向 未 成 年 人 销售 暴力 电子 游戏 的 行为 ， 是 否 遭 第 一 修正 案 禁 止 ? 

















2011 年 6 月 ， 美 国 最 高 法 院 判 决 ， 加 利 福 尼 亚 州 的 该 项 法 律 不 符合 宪法 精神 ， 电 子 游戏 应 受 《 完 法 》 第 一 及 第 十 四 修正 案 的 
保护 。 但 是 ， 与 此 同时 ，Samuel Alito 法 官 在 裁决 书 中 的 一 条 观点 明确 表示 ， 未 来 可 以 再 度 讨论 这 一 话题 。Alito 法 官 在 其 观点 
的 最 后 一 句 话 里 写 道 : 

















\* 州 或 联邦 政府 实施 不 同 法 令 时 ， 如 果 与 该 法 令 相关 的 案件 上 呈 至 本 法 院 ， 可 以 考虑 该 等 法 令 是 否 符合 宪法 。”“ 





因此 ， 尽 管 当前 美国 的 法 律 允 许 向 未 成 年 人 出 售 哪怕 最 为 暴力 的 电子 游戏 ， 还 是 应 该 提出 下 列 问题 : 
现在 被 认为 合法 的 事物 ， 是 否 一 定 符合 道德 伦理 标准 ? 


答案 显然 是 否定 的 。 











22.3 结论 


在 本 章 中 ， 我 们 广泛 探讨 了 在 不 远 的 将 来 ， 虚 拟 与 增强 现实 技术 可 能 引发 的 严峻 的 法 律 和 社会 问题 。 未 来 几 年 间 ， 随 着 这 些 
高 级 模拟 技术 大 肆 进 军 更 广 阅 的 消费 电子 产品 产业 ， 为 利益 方 带 来 数 十 亿 的 收入 ， 伦 理 道德 问题 显得 尤为 重要 ， 这 不 仪 针 对 一 般 
的 暴力 内 容 ， 还 涉及 越 来 越 多 的 沉浸 式 色情 应 用 。 底 线 到 底 应 该 划 在 哪里 ”答案 并 没有 写 在 成 文法 里 ， 而 是 由 内 容 开 发 者 们 决 
定 。 正 如 写 错 了 字 不 能 怪 笔 一 样 ， 虚 拟 现实 的 实现 硬件 技术 (包括 立体 头 戴 式 显示 器 、 空 间 声 音 解决 方案 以 及 触觉 与 力 反 馈 设 
备 ) 仅仅 是 提供 某 种 体验 的 机 制 ， 是 由 和 我 们 一 样 的 人 类 设计 出 来 的 。 


第 23 章 ”未 来 


作为 相对 新 兴 的 商业 技术 产品 ， 增 强 与 虚拟 现实 还 面临 着 许多 问题 。 显 示 器 体积 太 大 ， 电 纺 繁 多， 使 用 时 的 不 适 感 仍然 存 
在 。 但 变化 是 迅速 的 。 本 章 将 探讨 天 键 实现 技术 元 件 未 来 的 重点 发 展 策略 ， 展 望 短期 和 长 期 的 未 来 图 景 与 发 展 方向 ， 以 及 这 些 改 
变 将 带 来 的 好 处 。 


23.1 以 广角 看 未 来 


在 本 书 中 ， 我 们 探讨 了 目前 一 流 的 虚拟 和 增强 现实 技术 ， 重 点 阐述 了 其 强项 、 弱 项 和 技术 突破 ， 也 介绍 了 许多 专业 可 靠 的 应 
用 实例 ， 以 展现 出 这 些 技术 在 解决 实际 问题 、 加 深信 们 对 数据 的 理解 以 及 在 最 大 程度 上 提升 人 类 工作 效率 等 方面 的 真正 价值 。 


如 今 ， 这 些 技术 开始 以 消费 品 的 形式 进入 市 场 ， 观 察 这 些 技术 的 具体 利用 方式 一 一 尤其 是 在 游戏 和 娱乐 产业 以 外 的 领域 ， 
将 是 十 分 有 趣 的 体验 。 


如 前 文 所 述 ， 劣 质 的 内 容 或 糟糕 的 体验 必然 会 遏制 虚拟 现实 的 发 展 。 如 果 没 有 质量 优良 、 设 计 精 细 且 能 切实 提高 生活 质量 的 
应 用 ， 普 通 消费 者 绝 不 会 大 量 购买 这 些 技术 。 反 过 来 说 ， 开 发 这 类 应 用 的 成 本 高 昂 ， 必 须 建立 在 消费 者 需求 和 可 用 的 硬件 平台 基 
础 之 上 。 所 幸 ， 人 们 对 此 抱 有 很 高 的 热情 ， 硬 件 及 软件 制造 商 也 在 尽力 推进 这 一 开发 过 程 。 


几 十 年 后 再 来 描绘 今天 的 历史 ， 人 们 会 清楚 地 发 现 ， 对 这 一 领域 的 崛起 起 到 最 大 影响 的 事件 并 不 是 谁 豪 抑 几 十 亿美 元 收购 了 
一 家 小 型 科技 创业 公司 ， 而 仅仅 是 低 成 本 自助 式 观 景 器 谷歌 Cardboard 与 其 基础 安 卓 开发 工具 包 的 出 现 。 我 们 原 以 为 沉浸 式 虚 
拟 体验 必然 要 求 巨 大 的 计算 能 力 、 昂 贵 的 头 戴 设备 和 一 堆 外 部 传感器 ， 而 几乎 在 一 夜 之 间 ， 这 件 事 颠覆 了 人 们 的 看 法 。 尽 管 这 人 台 
机 器 最 初 外 形 粗糙 ， 但 有 了 它 ， 突 然 间 任何 人 都 能 通过 智能 手机 体验 虚拟 现实 。 这 从 根本 上 极 大 地 刺激 了 人 们 对 该 领域 的 兴趣 、 
需求 乃至 在 应 用 开发 上 的 投入 。 自 2014 年 夏季 推出 以 来 ， 这 种 可 折 考 式 观 景 器 已 售 出 几 下 万 台 ， 出 现 了 几 十 款 廉 价 仿制 品 及 更 
优良 的 头 戴 设备 ， 刺 激 了 数 百 个 相关 应 用 程序 的 开发 。 


23.4 结论 
宣传 是 好 的 ， 它 能 激发 、 鼓 励 、 培 养 创造 性 思维 ， 让 人 们 为 之 兴奋 。 宣 传 总 能 让 风险 资本 家 抬 起 沉重 的 手 ， 投 资 于 他 们 原本 
不 属 考 虑 的 领域 。 但 在 某 些 时 候 ， 我 们 需要 放下 过 度 鼓吹 ， 做 些 踏实 的 工作 ， 把 承诺 转化 为 现实 和 实际 产品 。 


自 20 世 纪 90 年 代 虚 拟 现实 的 狂潮 开启 以 来 ， 作 为 本 领域 根基 的 实现 技术 第 一 次 为 开发 商 提供 了 良好 的 平台 ， 以 展示 他 们 的 
最 佳 创 意 。 很 有 可 能， 这 些 创意 并 不 局 限于 第 一 人 称 游戏 、 将 影像 二 加 到 邻近 咖啡 馆 的 应 用 ， 也 不 只 是 让 你 能 把 心律 发 布 到 社交 
网 站 、 在 跑步 时 查看 邮件 那么 简单 。 这 些 技术 的 潜力 远 不 仅 止 于 此 。 


附录 B 资源 清 


本 书 重点 介绍 了 视觉 显示 、 空 间 声 音 解 决 方案 、 触 觉 与 力 反馈 设备 、 位 置 /方向 传感器 等 类 别 的 几 十 种 产品 和 几 十 家 公司 。 
本 附录 补充 了 其 他 供应 商 ， 并 按 类 别 列 出 清单 。 此 外 ， 还 包括 各 种 有 意 自行 开发 系统 的 DIY 资 源 ， 以 及 产品 商标 列表 。 


产品 制造 商 


本 书 重点 介绍 或 涉及 了 数 十 种 硬件 设备 与 软件 工具 ， 横 跨 增 强 与 虚拟 现实 系统 的 各 项 核心 使 能 技术 。 下 面 列 出 上 述 提 及 的 制 
造 商 及 类 似 产 品 的 其 他 制造 商 。 
增强 型 头 戴 式 显示 器 

:NVIS (多 款 ) 一 http://www.nvisinc.com/ 

AtheerAIiR Glasses—http://atheerair.com/ 

:Epson Moverio (多 款 ) 一 http://www.epson.com 

.DAQRI 智 能 头 硕 一 http://gdaqri .com 

-微软 HoloLens 一 https://www.microsoft.com/microsoft-hololens 

.Vuzix (多 款 ) 一 http://www.vuzix.com 

.ODG R-7 (多 款 ) 一 http://www.osterhoutgroup .com 

:Lumus (多 款 ) 一 http://www.osterhoutgroup .com 

:索尼 Sma rtEyeglass—http://developer.sonymobile.com/products/smarteyeglass/ 

Laster Wave 一 http://www.1aster.fr/ 

.Optinvent (多 款 ) 一 http://www.optinvent.comy/ 


.Recon Instruments (多 款 ) 一 http://www.reconinstruments .com 


‘Telepathy Japan 公 司 一 http://www.telepathywalker.com 
.SKULLY 系 统一 http://www.skully.com/ 
‘Penny AB 一 http://www.penny.se/ 

完全 沉浸 式 头 戴 式 显示 器 
:HTC Vive—nttps://www.htcvive.com/us/ 
:索尼 PlayStation VR 一 https://www.playstation.com/psvr 
-OSVR (开源 VR 开发 工具 包 ) 一 http://www.osvr.org/ 
‘Oculus Rift CV1—https://www.oculus.com/ 
:Sensics (多 款 ) 一 http://sensics.com 
:VE Union Claire—http://vrunion.com/ 
‘Star VR—nhttp://www.starvr.com/ 

基于 移动 设备 的 头 戴 式 设备 
-二星 GearVR 一 http://www.samsung.com/us/explore/gear-vr/ 
‘SmokeVR—nhttp://smokevr.net/ 
"Wearality—http://www.wearality.com/ 
:Free Fly VR—https://www.freeflyvr.com/ 
:Zeiss VR One 一 http://www.zeiss.co.uk 
.Yay3D VR 观 景 器 一 http://www.yay3d.com/ 
‘Homido—http://www.homido.com/ 
‘VisusVR—nttps://www.visusvr.com/ 
‘SeeBright—nttp://seebright .com/ 
‘VRVana—https://www.vrvana.com 


‘Meta—https://www.metavision.com/ 
CAVE、 洞 六 与 立方 体 
.Mechdyne Corporation—https://www.mechdyne.com 


‘Visbox 公 司 一 http://www.visbox.com/products/cave/ 


:Christie Digital—https://www.christiedigital .com/ 


‘Virtalis Ltd 一 http://www.virtalis.cormy 
:EON Reality—http://www.eonreality.com/ 
‘WorldViz—http://www.worldviz.com/ 


‘TechViz—nttp://www.techviz.net 


屋顶 显示 器 
:Virtual Immersion 一 http://vorteximmersion.cormvy 
:3D Perception 一 http://3dq-perception.comy 


.7th Sense—http://www.7thsensedesign.com 


商业 与 企业 用 途 AR 软件 


‘Augmate—nttp://www.augmate.com/ 
‘Augment—http://www.augment .com/ 
:DIOTA—nhttp://www.diota.com/ 
‘CurvSurf—nttp://www.curvsurf .com/ 
‘iQagent—nttp://iqagent.com/ 
‘Cimagine—http://cimagine.com/ 

:Infinity Augmented Reality—nhttp://www.infinityar.com/ 
‘Scope AR—nhttp://www.scopear.com/ 

:Production AR—http://productionar.com/ 
-Pikkart—nttp://www.pikkart.com/ 

‘NGRAIN—http: //www.ngrain.com/ 
‘Optech4D—http://optech4d.com/ 
‘Vuforia—https://www.vuforia.com/ 
‘WOWEmMotions—http://wowemotions.com/ 

‘Yetzer Studio—http://www.yetzerstudio.com/ 

:Vivid Works—http://www.vividworks.com/ 

.VanGogh lImaging—http://www.vangoghimaging .com/ 
‘ViewAR—http://www.viewar.com/ 


“Virtuality NS—http://virtuality-ns.com/ 


双 耳 录音 系统 


'HEAD Acoustics—nttp://www.head-acoustics.de/eng/ 
Georg Neumann GmbH 一 https://www.neumann.cory 
.G.R.A.S9.Sound&Vibration A/S 一 http://kemar.us/ 
‘3diosound—nttp://3diosound.com/ 

.Roland Corporation—http://www.rolandus.com/ 


‘VisiSonics Corporation—http://visisonics.com/ 


声学 建 模 软件 
‘Impulsonic—nttps://www.impulsonic.com/ 
.Acoustics By Design 一 http://www.acousticsbydesign.com 
:CATT-Acoustic—http://www.catt.se/ 
‘Olive Tree Lab—http://www.olivetreelab.com/Room 


‘ODEON—nhttp://www.odeon.dk/ 





:EASE—nttp://ease.afmg.eu/ 
‘CadnaR—http://scantekinc.com 


‘ISimpa—http://i-simpa.ifsttar.fr/ 


-NeuroDigital Technologies/GloveOne— https://www.gloveonevr.com/ 
‘Tesla Studios/TeslaSuit DK1—http://www.teslastudios.co.uk/ 
:StudioFeed USA LLC/The SubPac 一 http://thesubpac.com 

-Woojer, Ltd.—http://www.woojer.com/ 

Clark Synthesis—nttp://clarksynthesis.com/ 

:CyberGlove Systems, LLC—http://www.cyberglovesystems.com/ 
-Geomagic Touch 一 http://www.geomagic.com 

:Immersion Corp—http://www. immersion.com/ 


:Haption SA—nhttp://www.haption.com/ 


位 置 与 方向 追踪 传感器 


‘NaturalPoint—nhttp://naturalpoint .com/ 
-OptiTrack—nhttps://www.optitrack.com/ 

.Advanced Realtime Tracking—http://www.ar-tracking.com/ 
:PS-Tech—nttp://www.ps-tech.com/ 

:Leap Motion—https://www.1leapmotion.com/ 

-微软 Kinect 一 http: //www.microsoftstore .com 


‘Intel RealSense—https://software.intel.com/en-us/realsense/hom 





.Polhemus 一 http://polhemus .com/ 
‘Sixense—http://sixense.com/ 
‘InterSense— http://www.intersense.com/ 
:PhaseSpace—http://www.phasespace.com/ 


Perception Neuron 一 https://neuronmocap .com 


立体 360° 摄 像 机 


‘Panocam—nhttp://www.panocam3d.com/ 
-iZugar—http://izugar.com/ 

‘360 Heros 一 http://www.360heros .com 
‘VUuZze—http://vuze.camera/ 

:HumanEyes Technologies Ltd 一 http://www.humaneyes .com/ 
‘Jaunt—nttps://www.jauntvr.com/ 


‘Next VR—http://www.nextvr.com/ 


DIY 资 源 


你 是 否 有 兴趣 制作 属于 自己 的 VR 开 发 项 目 ? 下 面 介绍 的 网 络 DIY 资 源 可 以 帮助 充满 好 奇 、 喜 欢 自己 动手 的 人 士 着 手 行动 。 以 
下 大 部 分 资源 都 不 收取 费用 或 收费 较 低 。 


FOV2GO 立 体 观 景 器 


FOV2GO 在 谷歌 Cardboard 两 年 前 即 已 出 现 ， 由 南 加 利 福 尼 亚 大 学 创意 技术 学 院 混合 现实 实验 室 开 发 ， 是 一 款 用 于 移动 设 
备 的 DIY 立 体 观 景 器 。FOV2GO 由 泡沫 板 和 廉价 的 塑料 镜片 制 成 ， 有 多 种 设计 ， 可 适用 于 不 同 款式 的 智能 手机 。 


开发 者 同时 提供 许多 其 他 的 免费 资源 ， 包 括 其 他 立体 观 景 器 的 详细 方案 、 软 件 与 原稿 、 中 间 件 、 产 品 修改 等 。 


该 网 站 上 的 软 、 硬 件 均 不 向 个 人 、 非 营利 教育 机 构 和 研究 机 构 (包括 美国 政府 部 门 ) 收费 ， 但 对 涉及 商业 应 用 的 安排 较为 灵 


南 加 利 福 尼 亚 大 学 混合 现实 实验 室 DIY 资 源 一 一 http://projects.ict.usc.edu/mxr/diy/ 
谷歌 Cardboard 


谷歌 已 将 所 有 Cardboard 观 景 器 的 规格 对 外 公布 ， 鼓 励 所 有 人 使 用 这 些 资源 ， 包 括 商业 利益 方 。 制 作 工 具 包 中 包括 镜片 、 
导电 片 、 冲 切线 等 的 技术 规格 和 图 纸 、 制 作 公 差 和 材料 规格 。 里 面 还 有 产品 模板 、 最 佳 惯 例 、 观 景 器 轮廓 生成 器 、 质 量 控制 指 
南 、 首 件 检验 与 生产 缩放 过 程 。 


谷歌 Cardboard 主 网 站 一 一 https://www.google.com/get/cardboard/manufacturers/ 
PC 驱动 式 立体 显示 器 


除了 这 些 基 于 智能 手机 的 平价 显示 器 外 ,以 “DIY 头 戴 式 显示 器 ”和 “DIY HMD” 为 关键 词 检 索 ， 还 能 找到 数 十 种 PC 驱动 
的 DIY 头 戴 式 显示 器 项 目 。 


要 制作 自己 的 立体 头 戴 式 显示 器 ， 至 少 要 能 够 追踪 头 部 方向 。 如 果 你 使 用 的 是 智能 手机 驱动 的 头 戴 设备 ， 大 部 分 应 用 会 利用 
设备 中 的 加 速 计 。 如 果 是 PC 驱动 式 显示 器 ， 可 以 找到 免费 的 小 工具 ， 用 于 追踪 用 户头 部 的 位 置 (X 轴 、Y 轴 、Z 轴 ) 和 方向 ( 转 
动 、 倾 斜 、 摇 摆 ) 。 


FreeTrack 动 作 追 踪 软 件 


FreeTrack 是 用 于 微软 Windows 系 统 的 光学 动作 追踪 应 用 ， 以 通用 公共 许可 证 发 行 ， 不 收取 任何 费用 。 它 的 主要 目的 是 为 电 
脑 游 戏 和 模拟 提供 6 个 自由 度 的 平价 头 部 追踪 工具 。 通 过 网 络 摄像 头 或 其 他 视频 捕捉 设备 ， 该 软件 可 以 追踪 物体 上 用 红外 光源 照 


FreeTrack 动 作 追 踪 软 件 一 一 http://www .free-track.net/english/ 
游戏 转换 软件 
接 下 来 介绍 连接 到 兼容 型 3D 现 实 设备 后 ， 可 以 自动 将 游戏 和 其 他 应 用 转换 为 立体 3D 格 式 的 软件 工具 。 
TriDef 3D 
TriDef 3D 可 以 生成 单独 的 左 、 右 眼 视角 ， 以 3D 模 式 运行 任何 DirectX 9/10/11 电 脑 游戏 。 此 软件 不 免费 ， 但 费用 较 低 。 
TriDef 3D 一 一 http://tridef.com 
游戏 串 流 工具 
也 有 一 些 软件 工具 具有 串 流 功 能 ， 使 你 可 以 通过 DIY 头 戴 设 备 包含 的 移动 设备 读 取 电 脑 游 戏 和 应 用 。 
Splashtop 


splashtop 是 一 款 声 像 串 流 软 件 ， 可 帮助 你 通过 其 他 设备 浏览 并 控制 电脑 ， 包 括 图 形 密集 型 3D 电 脑 应 用 和 游戏 。 该 软件 可 在 
局 域 网 上 免费 使 用 ， 比 如 家 中 、 学 校 或 公司 ， 对 大 部 分 设备 免费 ， 但 ijPad 和 iPhone 版 本 有 标准 费用 。 


Splashtop——http://www.splashtop.com 
Kainy 


Kainy 是 另 一 款 声 像 串 流 软件 ， 可 帮助 你 通过 其 他 设备 浏览 并 控制 电脑 ， 包 括 图 形 密集 型 3D 电 脑 应 用 和 游戏 。 该 软件 支持 大 
部 分 设备 类 型 ， 可 选择 有 广告 的 免费 版 ， 或 付费 无 广告 版 。 


Kainy 一 一 http://www.kainy.com 


软件 生态 系统 


硬件 和 软件 制造 商 限 制 产品 的 互 操 作 性 ， 必 然 会 阻碍 AR/VR 行 业 的 发 展 。Razer 公 司 和 Sensics 公 司 率先 做 出 努力 ， 发 布 了 
一 个 由 专业 人 士 开 发 、 鲁 棒 性 极 强 的 软件 平台 ， 目 的 是 为 虚拟 现实 输入 设备 、 游 戏 和 输出 设立 公开 标准 ， 促 进 建立 一 个 具有 凝聚 
力 的 VR 生 态 系统 。 


开源 虚拟 现实 


开源 虚拟 现实 (Open-Resource Virtual Reality，OSVR) 是 一 款 用 途 广 泛 、 鲁 棒 性 强 的 公开 资源 软件 生态 系统 ， 人 允许 虚拟 
现实 开发 商 在 各 种 运营 系统 上 查找 、 配 置 并 运行 虚拟 现实 设备 。 该 系统 已 获 Apache 2.0 许 可 。 


OSVR 一 一 http://www.osvr.org 


VR 头 戴 设 备 的 验光 眼镜 与 防护 镜 


依赖 验光 眼镜 的 人 士 使 用 现代 立体 头 戴 式 显 示 器 时 有 较 大 困难 。 大 部 分 情况 下 ， 没 有 适合 佩戴 矫正 眼镜 的 足够 出 瞳 距 离 ， 或 
会 造成 用 户 的 严重 不 适 ， 还 可 能 损坏 显示 器 和 用 户 眼 镜 的 光学 器 件 。 所 幸 ， 受 欢迎 的 大 部 分 商用 VR 头 戴 式 显示 器 都 可 以 找到 
验光 眼镜 的 适配器 。 


VR 眼镜 实验 室 (德国 斯 图 加 特 ) 一 一 https://vr-lens-lab.com/ 


Rochester Optical (纽约 罗 彻 斯 特 ) 一 一 http://rochesteroptical.com 


VR 头 戴 设备 防 尘 


头 戴 式 显示 器 存在 的 一 个 新 问题 是 面部 讨 垫 中 的 不 卫生 状况 ， 尤 其 是 多 人 共用 同一 个 设备 时 。 好 在 有 供 受 欢 迎 的 大 部 分 商用 
显示 器 试用 的 可 洗 防 尘 需 ， 正 好 可 以 覆盖 一 般 的 衬 垫 ， 保 证 卫生 条 件 。 


VR Cover (泰国 曼谷 ) 一 一 https://Vrcover.com 


有 兴趣 自行 研发 双 耳 音频 (参见 第 8 章 ) 的 个 人 和 机 构 也 可 以 不 花 任何 成 本 ， 使 用 高 质量 的 头 部 相关 传输 溯 数 (HRTF) 数 
据 库 。 


CIPIC HRTF 数 据 库 


公共 数据 库 ， 包 含 从 25 个 不 同方 位 、50 个 不 同 高 度 (1250 个 方向 ) 以 5° 左 右 的 角度 增 量 测 得 的 45 名 受 试 的 高 空间 分 辩 率 
HRTF 数 据 ， 包 括 较 大 和 较 小 耳 廓 的 KEMAR 人 体 模型 尺寸 。 


加 利 福 尼 亚 大 学 戴 维 斯 分 校 图 像 处 理 与 综合 计算 中 心 (CIPIC) 一 一 http://interface.cipic.ucdavis.edu/sound/hrtf.html 
Listen HRTF 数 据 库 

Listen 素 材 库 是 一 个 公共 数据 库 ， 包 括 46 个 不 同 受 试 者 的 高 空间 分 辨 率 HRTF 测 量 数据 。 

声学 及 音乐 调配 研究 院 (法 国 巴 黎 ) 一 一 http://recherche.ircam.fr/equipes/salles/listen/index.html 

MIT 媒 体 实验 室 KEMAR HRTF 数 据 库 


MIT 素 材 库 是 关于 一 个 KEMAR 模 拟人 头 HRTF 测 量 数据 的 公共 数据 库 ， 共 从 -40° ~ +90° 的 不 同 高 度 测量 了 710 个 位 置 的 数 


麻 省 理工 大 学 媒体 实验 室 (马萨诸塞 州 坎 布 里 奇 ) 一 一 http://sound.media.mit.edu/resources/KEMAR.html 


商标 与 版 权 信息 


3Dio 和 FreeSpace 是 3DIO，LLC 公 司 的 注册 商标 或 商标 。 
AachenHEAD 和 HEAD Acoustics 是 HEAD Acoustics GmbH 公司 的 注册 商标 或 商标 。 
ActiveCube 是 Virtalis，LTD 公 司 的 注册 商标 或 商标 。 


Advanced Joint Terminal Attack Controller (JTAC) Training System (高 级 近 距 离 空 中 支援 插件 培训 系统 ) 是 
Quantadyn Corporation 公 司 的 注册 商标 或 商标 。 


Aero Glass 是 Aero Glass LLC 公 司 的 注册 商标 或 商标 。 

Android ( 安 卓 ) 是 谷歌 公司 (Google，Inc.) 的 注册 商标 或 商标 。 

Apple 和 QuickTime 是 苹果 公司 (Apple，Inc.) 的 注册 商标 或 商标 。 

ARC4 是 应 用 研究 联合 公司 (Applied Research Associates，lnc.) 的 注册 商标 或 商标 。 
Atheer 和 AiRare 是 Atheer，lnc. 公 司 的 注册 商标 或 商标 。 

Auro-3D 是 Auro Technologies NV 公 司 的 注册 商标 或 商标 。 

Autodesk 3ds MAX、AutoCAD 和 Maya 是 欧 特 克 公 司 (Autodesk，lnc.) 的 注册 商标 或 商标 。 
BAE Systems (BAE 系 统 ) 是 BAE Systems plc 公 司 的 注册 商标 或 商标 。 

Barco 是 Barco 集 团 的 注册 商标 或 商标 。 

Bluetooth (蓝牙 ) 是 蓝牙 技术 联盟 (Bluetooth SIG，Inc.) 的 注册 商标 或 商标 。 
CATIA 是 Dassault Systemes 公 司 的 注册 商标 或 商标 。 

CAVE 和 CAVE2 是 伊利 诺 伊 大 学 董事 会 的 注册 商标 或 商标 。 


Cinemizer 是 卡尔 :蔡司 (Carl Zeiss) 的 注册 商标 或 商标 。 


CyberGlove 和 CyberGrasp 是 Cyber Glove Systems，LLC 公 司 的 注册 商标 或 商标 。 
DAQRI、Smart Helmet (智能 头盔 ) 和 4D Studio 是 DAQRI，LLC 公 司 的 注册 商标 或 商标 。 
DLP 是 德州 仪器 公司 (Texas Instruments) 的 注册 商标 或 商标 。 

Dolby Atmos ( 杜 比 全 景 声 ) 是 杜 比 实验 室 (Dolby Laboratories，Inc.) 的 注册 商标 或 商标 。 
DORA 是 Dora 平 台 (Dora Platform) 的 注册 商标 或 商标 。 

DTS:X 是 DTS，Inc 公 司 的 注册 商标 或 商标 。 

Emotiv 和 EPOC 是 Emotiv Systems，lnc. 公 司 的 注册 商标 或 商标 。 

Epson (爱普生 ) 是 精工 爱普生 集团 (Seiko Epson Corporation) 的 注册 商标 或 商标 。 
Eve、Gunjack 和 Valkyrie 是 CCP 游 戏 公 司 (CCP Games) 的 注册 商标 或 商标 。 
Evena 和 Eyes-On 是 Evena Medical，lnc. 公 司 的 注册 商标 或 商标 。 

Facebook 是 Facebook 公 司 的 注册 商标 或 商标 。 

FARO 和 FARO Laser Scanner Focus3D (FARO 激 光 扫 描 仪 Focus3D) 是 FARO Technologies 公 司 的 注册 商标 或 商标 。 
FLEX 和 EmergiFLEX 是 Mechdyne Corporation 公 司 的 注册 商标 或 商标 。 

FLIR 是 FLIR Systems，lnc. 公 司 的 注册 商标 或 商标 。 

Ford (福特 ) 和 F-150 是 福特 汽车 公司 (Ford Motor Company) 的 注册 商标 或 商标 。 
Full Contact Audi" 和 Tactile Sound 是 Clark Synthesis，lnc. 公 司 的 注册 商标 或 商标 。 
Fused Reality 和 PARASIM 是 Systems Technology，lnc. 公 司 的 注册 商标 或 商标 。 
Geomagic 和 Touch 是 杰 魔 公司 (Geomagic，lnc.) 的 注册 商标 或 商标 。 

Glass、Tilt Brush 是 谷歌 公司 (Google，lnc.) 的 注册 商标 或 商标 。 

GloveOne 是 NeuroDigital Technologies S.L. 公 司 的 注册 商标 或 商标 。 

Google Cardboard (谷歌 Cardboard) 是 Google 公 司 的 注册 商标 或 商标 。 
HelpMesee 是 HelpMeSee，lnc. 公 司 的 注册 商标 或 商标 。 

HTC 和 Vive 是 HTC 公 司 (HTC Corporation) 的 注册 商标 或 商标 。 
Impulsonic 是 Impulsonic，Inc. 公 司 的 注册 商标 或 商标 。 

Intel Atom (英特尔 凌 动 ) 是 英特尔 公司 (Intel Corporation) 的 注册 商标 或 商标 。 
InvenSense 是 InvenSense.Inc 公 司 的 注册 商标 或 商标 。 


IRIS Vision 和 Visionize 是 Visionize，LLC 公 司 的 注册 商标 或 商标 。 


Jaunt One 是 Jaunt，lnc. 公 司 的 注册 商标 或 商标 。 

KitKat 是 淮 业 公司 (Nestles.A.) 的 注册 商标 或 商标 。 

Leap Motion 是 Leap Motion ，lnc. 公 司 的 注册 商标 或 商标 。 

Logitech (罗技 ) 和 Driving Force 是 罗技 国际 公司 (Logitech International S.A.) 的 注册 商标 或 商标 。 
Lumus 是 Lumus，Ltd. 公 司 的 注册 商标 或 商标 。 

Matterport 是 Matterport，lnc. 公 司 的 注册 商标 或 商标 。 

Microsoft (微软 ) 、Windows、Kinect、Xbox 和 Hololens 是 微软 公司 (Microsoft Corporation) 的 注册 商标 或 商标 。 
MOGA 是 Bensussen Deutsch and Associates，lnc. 公 司 的 注册 商标 或 商标 。 
Moverio 是 精工 爱普生 公司 (Seiko Epson Corporation) 的 注册 商标 或 商标 。 

NextVR 是 NextVR，Inc. 公 司 的 注册 商标 或 商标 。 

NVIDIA、Tegra 和 和 GeForce 是 NVIDIA 公 司 (NVIDIA Corporation) 的 注册 商标 或 商标 。 
nVisor 是 NVIS，Inc. 公 司 的 注册 商标 或 商标 。 

Oculus、Oculus VR 和 0Rift 是 Oculus VR，LLC 公 司 的 注册 商标 或 商标 。 

OMAP 和 DLP 是 德州 仪器 公司 (Texas Instruments) 的 注册 商标 或 商标 。 

Omnifinity 是 MSE Weibull AB 公 司 的 注册 商标 或 商标 。 

OSVR 是 雷 蛇 (亚太 ) 私人 有 限 公 司 (Razer (Asia-Pacific) Pte.Ltd.) 的 注册 商标 或 商标 。 
Perception Neuron 是 Noitom Ltd. 公 司 的 注册 商标 或 商标 。 

Peregrine 是 Iron Will innovations，lnc. 公 司 的 注册 商标 或 商标 。 

PersonaForm (人 物 角色 ) 是 格 里 高 利 :彼得 - 帕 诺 思 (Gregory Peter Panos) 的 注册 商标 或 商标 。 
PlayStation 和 Move 是 索尼 互动 娱乐 公司 (Sony Interactive Entertainment Inc.) 的 注册 商标 或 商标 。 
PTC 和 Vuforia 是 PTC 公 司 (PTC Inc.) 的 注册 商标 或 商标 。 

PTC 和 Windchill 是 PTC 公 司 (PTC Inc.) 公司 的 注册 商标 或 商标 。 
Qualcomm 和 Snapdragon 是 Qualcomm Incorporated 公 司 的 注册 商标 或 商标 。 
Radeon 是 超 微 半导体 公司 (Advanced Micro Devices，lnc.) 的 注册 商标 或 商标 。 
ReticleOS 是 Osterhout Group，lnc. 公 司 的 注册 商标 或 商标 。 


Samsung (三 星 ) 、Galaxy S、Galaxy Note、Galaxy Edge 和 Gear VR 是 三 星 电子 公司 (Samsung Electronics 
Co.，Ltd.) 的 注册 商标 或 商标 。 


Scorpion 是 Thales Visionix，lnc. 公 司 的 注册 商标 或 商标 。 


Second Life (第 二 人 生 ) 是 Linden Research ，lnc. 公 司 的 注册 商标 或 商标 。 
Simodont 是 穆 格 公司 (Moog B.V.) 的 注册 商标 或 商标 。 
SimSpray 和 Paintometer 是 VRSim，lnc 公 司 的 注册 商标 或 商标 。 
SmokeVR 是 PhaseSpace Inc. 公 司 的 注册 商标 或 商标 。 

SONY (索尼 ) 是 索尼 公司 (Sony Corporation) 的 注册 商标 或 商标 。 
SteamVR 是 维尔 福 公 司 (Valve Corporation) 的 注册 商标 或 商标 。 
SteelSeries 是 SteelSeries ApS. 公 司 的 注册 商标 或 商标 。 
SubPac 是 Studiofeed Ltd. 公 司 的 注册 商标 或 商标 。 

TeslaSuit 是 Tesla studios 公 司 的 注册 商标 或 商标 。 


术语 HDMI 和 MDMI High-Definition Multimedia Interface (高 清晰 度 多 媒体 接口 ) 是 HDMI Licensing LLC 公 司 的 注册 
商标 或 商标 。 


TopOwl 是 泰 雷 效 航空 电子 公司 (Thales Avionics S.A.) 的 注册 商标 或 商标 。 
Transporter3D 是 EMR 实 验 室 (EMR Laboratories) 的 注册 商标 或 商标 。 
Unity 是 Unity Technologies ApS 公 司 的 注册 商标 或 商标 。 

Unreal 是 Epic Games 公 司 的 注册 商标 或 商标 。 

View-Master (三 维 魔 景 机 ) 是 美 泰 公司 (Mattel，Inc.) 的 注册 商标 或 商标 。 
Virtually Better 是 Virtually Better，lnc. 公 司 的 注册 商标 或 商标 。 
Virtuix 和 Virtuix Omni 是 Virtuix Holdings，lnc. 公 司 的 注册 商标 或 商标 。 
VRTEX 是 林肯 电气 公司 (The Lincoln Electric Company) 的 注册 商标 或 商标 。 
Vuze 是 HumanEyes Technologies Ltd. 公 司 的 注册 商标 或 商标 。 
Vuzix 是 Vuzix Corporation 公 司 的 注册 商标 或 商标 。 

Wizard Online ( 巫 术 OL) 是 Mahir Ozer 公 司 的 注册 商标 或 商标 。 
Woojer 是 Woojer LTD 公 司 的 注册 商标 或 商标 。 


ZeroTouch 和 VitalStream 是 Vital Enterprises 公 司 的 注册 商标 或 商标 。 


